[논문 리뷰] Unified Pragmatic Models for Generating and Following Instructions

Daniel Fried, Jacob Andreas외 1명|arXiv (Cornell University)|2017. 11. 14.

Topic Modeling참고 문헌 37인용 수 9

한 줄 요약

이 논문은 말하는 이와 듣는 이의 의도에 대한 상호 이해를 모델링하여, 복잡하고 순차적인 작업에서 지시 생성과 지시 따르기 성능을 향상시키는 통합된 실용적 추론 프레임워크를 제안한다. 학습된 기본 모델과 역사적 추론(말하는 이가 듣는 이의 해석을 예측하고, 듣는 이가 말하는 이의 의도를 유추함)을 통합함으로써, 다양한 도메인인 탐색, 퍼즐, 상호작용 작업에서 지시 생성 분야에서 최대 46%p의 정확도 향상과 지시 해석 분야에서 최대 10%p의 향상을 달성하여 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We show that explicit pragmatic inference aids in correctly generating and following natural language instructions for complex, sequential tasks. Our pragmatics-enabled models reason about why speakers produce certain instructions, and about how listeners will react upon hearing them. Like previous pragmatic models, we use learned base listener and speaker models to build a pragmatic speaker that uses the base listener to simulate the interpretation of candidate descriptions, and a pragmatic listener that reasons counterfactually about alternative descriptions. We extend these models to tasks with sequential structure. Evaluation of language generation and interpretation shows that pragmatic inference improves state-of-the-art listener models (at correctly interpreting human instructions) and speaker models (at producing instructions correctly interpreted by humans) in diverse settings.

연구 동기 및 목표

• 인간 레이블러가 제공한 지시와 액션 시퀀스 간의 직접적 매핑의 한계를 해결하기 위해, 지시 생성 및 해석 과정에서 실용적 추론을 모델링하는 것.
• 이전에 단순한 참조 게임에서 사용된 명시적 실용적 추론을, 구조화된 세계 상태와 상호의존적인 액션을 포함한 복잡하고 순차적인, 지능형 작업으로 확장하는 것.
• 에이전트가 서로의 의도와 잠재적인 오해를 고려하여 추론할 수 있도록 함으로써, 지시 따르기 및 지시 생성 성능을 향상시키는 것.
• 실용적 추론이 인간이 제공한 데이터보다 더 낙관적인 모호함에 강건한 지시를 생성할 수 있음을 보여주며, 일부 경우에서는 인간이 생성한 지시보다도 성능이 뛰어나다는 것을 입증하는 것.
• 같은 추론 메커니즘을 말하는 이와 듣는 이 모두에 적용하는 통합된 추론 절차의 효과성을 검증하는 것.

제안 방법

• 학습된 기본 말하는 이 및 듣는 이 모델을 실용적 추론의 기초 구성 요소로 활용한다.
• 기본 듣는 이 모델을 사용하여 후보 지시의 듣는 이 해석을 시뮬레이션함으로써 실용적 말하는 이를 구성하며, 가장 해석 가능성이 높은 출력을 선택한다.
• 기본 듣는 이 모델을 사용하여 대체 기술이 관찰된 지시를 더 잘 유도했을지 평가하는 역사적 추론을 수행함으로써 실용적 듣는 이를 구성한다.
• 말하는 이와 듣는 이 모두가 상대방 행동의 공통 모델을 사용하여 가장 선호되는 출력 시퀀스를 선택하는 통합된 추론 절차를 적용한다.
• 모델 조합을 재순서 정렬을 통해 구현: 후보 출력은 기본 모델들에 의해 점수 매기며, 실용적 추론 메커니즘을 통해 통합된다.
• 기본 모델의 앙상블(예: 10개의 기본 듣는 이 및 10개의 기본 말하는 이)을 사용하여 정확도를 향상시키며, 이론적 모델이 동일 크기의 단순 앙상블보다 성능이 뛰어나다는 것을 확인한다.

실험 결과

연구 질문

• RQ1 기본 모델이 달성하는 성능을 넘어서 복잡하고 순차적인 작업에서 명시적 실용적 추론이 지시 생성 성능을 향상시킬 수 있는가?
• RQ2 듣는 이가 말하는 이의 의도에 대해 역사적 추론을 통해 모호함을 해소할 수 있도록 실용적 추론이 지시 따르기 성능을 향상시킬 수 있는가?
• RQ3 말하는 이와 듣는 이 모두에 동일한 추론 메커니즘을 적용하는 통합된 실용적 추론 프레임워크가 다양한 도메인에서 일관된 성능 향상을 가져올 수 있는가?
• RQ4 실용적 모델이 인간이 제공한 지시보다 더 따를 수 있는 지시를 얼마나 잘 생성할 수 있는가? 특히 인간 지시가 기준으로 간주되는 상황에서도 말이다.
• RQ5 기본 모델의 단순 앙상블과 비교했을 때 이론적 듣는 이나 말하는 이의 성능은 어떻게 되며, 통합된 모델 조합이 어떤 이점이 있는가?

주요 결과

• 실용적 말하는 이 모델은 다양한 도메인에서 지시 생성 성능을 최대 46%p 향상시키며, 특히 타נגר엄스 도메인에서 기본 모델과 인간 지시 둘 다를 크게 앞서는 성능을 기록한다.
• 실용적 듣는 이 모델은 기본 모델 대비 최대 10%p의 해석 정확도 향상을 기록하며, 문장 그대로의 지시를 만족하는 여러 경로가 존재할 때에도 정확한 경로 선택을 가능하게 한다.
• SAIL 탐색 도메인에서는 통합된 실용적 프레임워크를 통해 생성된 이론적 말하는 이의 지시는 이전 최신 기술 수준 시스템(DBW)과 유사한 정확도로 따르는 것으로 나타났다.
• 10개의 기본 듣는 이와 10개의 기본 말하는 이를 사용한 이론적 듣는 이는 20개의 기본 듣는 이로 구성된 단순 앙상블보다 성능이 뛰어나며, 장면 도메인에서 72.7%의 정확도를 기록한 반면 앙상블은 71.9%였다.
• 타נגר엄스 도메인에서 이론적 말하는 이 모델은 인간이 생성한 지시의 따라하기 정확도를 58.7%에서 92.7%로 향상시켰으며, 이는 실용적 추론이 인간 지시보다 뛰어난 지시를 생성할 수 있음을 보여준다.
• BLEU 점수는 따라하기 정확도의 우수한 지표가 되지 못함을 확인했으며, 높은 BLEU 점수와 높은 지시 정확도 간의 상관관계가 없음을 확인함으로써, 자동 평가 지표보다 실용적 추론의 가치가 높다는 점을 입증한다.