[논문 리뷰] Reasoning About Pragmatics with Neural Listeners and Speakers

Jacob Andreas, Dan Klein|arXiv (Cornell University)|2016. 04. 02.

Multimodal Machine Learning Applications참고 문헌 20인용 수 39

한 줄 요약

이 논문은 명시적으로 애너테이션된 의사소통 데이터가 필요 없이, 학습된 청취자 및 발화자 모델을 고차원 추론과 결합하여 맥락적으로 적절한 설명을 생성하는 신경망 프레임워크를 제안한다. 발화 선택 과정에서 청취자 행동을 고려함으로써, 이 모델은 참조 표현 게임에서 81%의 성공률을 기록했으며, 이는 이전의 학습 기반 기준 모델보다 17% 높은 성능이다. 이는 일반적인 캡션 데이터만으로도 의사소통 언어 생성이 학습될 수 있음을 보여준다.

ABSTRACT

We present a model for pragmatically describing scenes, in which contrastive behavior results from a combination of inference-driven pragmatics and learned semantics. Like previous learned approaches to language generation, our model uses a simple feature-driven architecture (here a pair of neural "listener" and "speaker" models) to ground language in the world. Like inference-driven approaches to pragmatics, our model actively reasons about listener behavior when selecting utterances. For training, our approach requires only ordinary captions, annotated _without_ demonstration of the pragmatic behavior the model ultimately exhibits. In human evaluations on a referring expression game, our approach succeeds 81% of the time, compared to a 69% success rate using existing techniques.

연구 동기 및 목표

• 수동으로 설계된 문법이나 의사소통적으로 애너테이션된 학습 데이터가 필요 없는 확장 가능한 데이터 기반의 계산적 의사소통 접근법을 개발하는 것.
• 의사소통 감독이 필요한 직접 학습 접근법과 수동으로 코딩된 모델에 의존하는 유도된 추론 접근법 사이의 격차를 메우기 위해 신경 모델과 추론 기반 추론을 결합하는 것.
• 청취자 행동을 시뮬레이션함으로써 발화 생성 과정에서 맥락적으로 적절하고 정보가 풍부하며 유창한 기술을 생성할 수 있도록 신경 모델을 가능하게 하는 것.
• 학습 데이터에 명시적인 의사소통 애너테이션이 없더라도 청취자 반응을 고려한 추론이 의사소통 성능 향상에 기여할 수 있는지 평가하는 것.

제안 방법

• 모델는 청취자(L0)와 발화자(S0)를 포함한 두 개의 신경 기반 모델을 사용한다. 청취자(L0)는 기술서에서 가장 가능성 있는 지칭 대상을 예측하고, 발화자(S0)는 이미지 특징에서 캡션을 생성한다.
• 고차원 추론 발화자(S1)는 후보 기술서에 대해 청취자가 어떻게 반응할지 시뮬레이션함으로써 발화를 선택한다. 청취자 행동을 근사하기 위해 몬테카를로 샘플링을 사용한다.
• 이 추론 발화자는 청취자의 예측된 반응 분포를 기반으로 정확한 청취자 해석 가능성을 극대화하는 기술서를 선택하기 위해 확률적 프레임워크를 사용한다.
• 모델는 의사소통 애너테이션 외부의 추가 정보 없이 표준 이미지 캡션 데이터를 엔드 투 엔드로 훈련하며, 목표 및 배경 이미지 간의 대비를 유일한 신호로 사용한다.
• 컴파일된 발화자 모델는 추론 발화자의 행동을 모방하도록 훈련되었지만, 성능이 열 劣하므로 추론 과정이 직접적인 신경 맵핑으로 쉽게 근사될 수 없다는 것을 시사한다.
• 평가 방법은 참조 표현 게임(RG)을 사용한다. 여기서 발화자는 목표 이미지를 배경 이미지와 대비시켜 기술해야 하며, 청취자는 기술서에 기반해 정확한 이미지를 선택해야 한다.

실험 결과

연구 질문

• RQ1 학습된 신경 모델이 명시적으로 애너테이션된 의사소통 학습 데이터에 접근할 수 없을 때도 의사소통적인 기술을 생성할 수 있는가?
• RQ2 청취자 행동에 대한 추론이 직접적인 신경 캡션 생성 대비 참조 표현 생성의 성공률 향상에 어느 정도 영향을 미치는가?
• RQ3 표준 캡션만을 사용해 훈련할 경우, 신경 청취자 및 발화자 구성 요소에서 파생된 모델이 직접 학습 기반 기준 모델보다 성능이 뛰어나게 되는가?
• RQ4 목표 이미지와 배경 이미지 간의 视覚적 차이가 다양한 시나리오에서 추론 기반 발화자 모델이 일반화 가능한가?
• RQ5 발화자 모델의 추론 과정은 더 단순한 엔드 투 엔드 신경망으로 근사 가능한가, 아니면 성능 향상에 추론 단계가 필수적인가?

주요 결과

• 추론 모델(S1)은 테스트 세트에서 참조 표현 게임에서 81%의 성공률을 기록했으며, 이는 직설적 캡션 기반 기준 모델(S0)의 64%보다 뚜렷이 높은 성능이다.
• 어려운 쌍(더 많은 시각적 차이가 있는 시나리오)에서는 추론 모델이 68%의 성공률을 기록했고, 직설 기반 기준 모델은 53%를 기록했으며, 이는 복잡한 맥락에서의 강건성을 시사한다.
• 모든 쌍에 대해 추론 모델은 기준 모델보다 17%포인트 높은 성능을 기록했고, 어려운 쌍에선 15%포인트 높은 성능을 기록했으며, 모든 차이가 통계적으로 유의미했다(p < 0.05).
• 추론 발화자를 모방하도록 훈련된 컴파일된 발화자 모델은 유의미하게 열 劣하므로, 단지 69%의 정확도를 기록했으며, 이는 추론 과정이 직접적인 신경 맵핑으로 쉽게 근사될 수 없다는 것을 시사한다.
• 모델은 맥락에 민감한 기술을 성공적으로 생성했다: 예를 들어, 목표가 뱀과 다른 경우 'bat'를 기술하고, 뱀이 배경에 있을 경우 'snake'를 기술함으로써 맥락에 적절한 반응을 보였다.
• 인간 평가 결과, 이 모델의 기술서는 이전의 학습 기반 모델보다 더 정보가 풍부하고 청취자가 정확한 목표를 빠르게 식별하는 데 더 효과적임을 확인했다.