[논문 리뷰] An Incremental Iterated Response Model of Pragmatics

Reuben Cohn-Gordon, Noah D. Goodman외 1명|arXiv (Cornell University)|2018. 09. 30.

Speech Recognition and Synthesis인용 수 10

한 줄 요약

이 논문은 완전한 문장 전체를 처리하는 전통적인 글로벌 모델과 대조적으로, 발화 생성 및 이해 과정에서 단어별로 점진적으로 의사소통 이론적 추론을 수행하는 점진적 반복응답(IR) 모델을 제안한다. 이 모델은 이전에 글로벌 모델로는 설명되지 않았던 현상들—예를 들어 과잉 정보를 포함한 지칭 표현과 대조적 수식어에서 발생하는 예측 가능한 의미적 함의—를 잘 포착하며, 특히 TUNA 코퍼스에서 실제적인 지칭 표현을 예측하는 데서 글로벌 모델보다 뛰어난 성능을 보인다. 특히 짧은 표현보다 맥락적으로 정보가 풍부한 다단어 표현을 선호한다.

ABSTRACT

Recent Iterated Response (IR) models of pragmatics conceptualize language use as a recursive process in which agents reason about each other to increase communicative efficiency. These models are generally defined over complete utterances. However, there is substantial evidence that pragmatic reasoning takes place incrementally during production and comprehension. We address this with an incremental IR model. We compare the incremental and global versions using computational simulations, and we assess the incremental model against existing experimental data and in the TUNA corpus for referring expression generation, showing that the model can capture phenomena out of reach of global versions.

연구 동기 및 목표

• 완전한 문장을 처리하는 전통적인 글로벌 반복응답 모델의 한계를 해결하기 위해, 실시간 언어 처리를 더 잘 반영할 수 있도록 점진적이고 단어별로 의사소통 이론적 추론을 수행하는 모델을 개발하는 것.
• 점진적 의사소통 이론적 추론이 글로벌 모델가 설명하지 못하는 경험적 현상—예를 들어, 형용사-명사어와 명사-형용사어 언어 간의 비대칭성, 대조적 수식어에서 발생하는 예측 가능한 의미적 함의—를 설명할 수 있음을 보여주는 것.
• 기존 심리언어학적 데이터와 TUNA 코퍼스를 활용해 점진적 모델을 평가하고, 인간과 유사한 지칭 표현 생성 예측 성능을 향상시킨다는 것을 입증하는 것.
• 모든 가능한 발화를 정규화해야 하는 필요성을 피함으로써 글로벌 RSA 모델의 확장성 문제를 해결하고, 복잡한 환경에서도 효율적인 계산이 가능하도록 하는 스케일러블한 대안을 제공하는 것.

제안 방법

• 모델는 합리적 어조 행위(RSA) 프레임워크 내에서 구축되며, 글로벌 의사소통 이론적 추론을 점진적인 과정으로 재구성하여, 각 단어를 순차적으로 처리하고 청취자 및 발화자가 부분적인 발화 기반으로 믿음을 갱신하도록 한다.
• 문장 내 각 단어에 대해, 모델는 부분적 발화에 대한 직역 청취자의 해석을 계산한 후, 기대되는 정보성과 비용을 고려해 다음 단어를 선택하는 의사소통적 발화자를 설정한다. 이때 단어 수준의 비용 함수를 사용하며, 내용어는 1.0, 정지어는 0.0으로 설정된다.
• 점진적 의사소통적 발화자 $ S_1^{\text{UTT-IP}} $ 는 각 단어에서 멈추거나 계속할 확률을 계산하며, 가능한 발화 연속에 걸쳐 확률 질량을 분배한다. 이는 글로벌 모델가 전체 발화를 한 번에 평가하는 방식과 다름.
• 모델는 전체 가능한 발화를 전부 나열할 필요 없이 점진적 확률을 계산함으로써 정규화가 필요 없는 접근법을 사용하여 확장성을 확보한다.
• 모델는 계산 시뮬레이션을 통해 평가되었으며, TUNA 코퍼스에 적용되어 글로벌 및 점진적 추론 하에서 최적의 지칭 표현을 예측한다.
• 비용 함수는 긴 발화를 균일하게 페널티를 주지만, 점진적 모델은 맥락상 더 정보가 풍부할 경우 확률 질량이 멈추기와 계속하기 선택지 간에 분할되므로 여전히 더 긴 발화를 선호할 수 있다.

실험 결과

연구 질문

• RQ1 점진적 의사소통 이론적 모델은 이질적 언어 간 지칭 표현에서 관찰된 과잉 정보 지칭 행동—예를 들어 형용사-명사어 대비 명사-형용사어 언어에서의 행동—을 설명할 수 있는가?
• RQ2 대조적 수식어에서 발생하는 예측 가능한 의미적 함의는 전체 문장이 말리기 전에 이미 발생하므로, 점진적 모델이 이를 설명할 수 있는가?
• RQ3 실제 지칭 표현 생성 작업에서 점진적 의사소통 이론적 추론은 글로벌 추론과 다른 발화 예측을 도출하는가?
• RQ4 TUNA 코퍼스에서 점진적 모델은 인간과 유사한 지칭 표현을 예측하는 데서 글로벌 모델에 비해 어떤가?

주요 결과

• TUNA 코퍼스에서 점진적 모델은 사람 영역에서 287개의 최적의 두 단어로 된 발화를 예측했고, 글로벌 모델은 120개에 그쳤다. 이는 더 긴 맥락적으로 정보가 풍부한 표현을 더 선호함을 시사한다.
• 가구 영역에서는 점진적 모델이 149개의 최적의 두 단어 발화를 예측했고, 글로벌 모델은 88개였다. 이는 점진적 모델이 더 긴 맥락 기반 발화를 선호하는 경향을 더욱 뚜렷하게 보여준다.
• ‘그레이’와 ‘a grey desk’가 모두 정보적으로 완전한 경우, 글로벌 모델은 비용 페널티로 인해 ‘그레이’를 선택하지만, 점진적 모델은 ‘오른쪽 중앙’—더 길고 맥락적으로 구체적인 표현—를 선호한다. 이는 ‘그레이’에서 멈출 경우 확률 질량이 분할되기 때문이다.
• 점진적 모델은 맥락상 더 정보가 풍부할 경우 비용 페널티가 있더라도 여전히 더 긴 발화를 선호할 수 있음을 보여주며, 이는 멈추기와 계속하기 선택지 간의 확률 질량 분할 덕분이다.
• 모델는 단어 순서와 점진적 정보성 간의 상호작용을 모델링함으로써 형용사-명사어 언어와 명사-형용사어 언어 간의 과잉 정보 행동 비대칭성을 설명할 수 있다.
• 모델는 청취자가 전체 문장이 들리기 전에 의미를 추론할 수 있도록 허용함으로써 대조적 수식어에서 발생하는 예측 가능한 의미적 함의를 생성한다. 이는 글로벌 모델가 포착하지 못하는 현상이다.