[논문 리뷰] Reference-Aware Language Models

Zichao Yang, Phil Blunsom외 2명|arXiv (Cornell University)|2016. 11. 05.

Topic Modeling참고 문헌 23인용 수 10

한 줄 요약

이 논문은 참조 결정을 이산적인 확률적 잠재 변수로 간주하는 참조 인식 언어 모델을 소개한다. 이를 통해 참조 표현(예: 대명사, 고유명사, 데이터베이스 항목 등)의 동적이고 맥락 민감한 생성이 가능해진다. 외부 목록, 데이터베이스 또는 내부 상태에 대한 잠재적 선택으로 참조를 모델링함으로써, 요리 생성, 작업 지향 대화, 공호성 모델링 분야에서 결정론적 어텐션 및 표준 언어 모델링 베이스라인보다 성능이 뛰어나며, 퍼플렉서피와 예측 불가능한 테이블 항목에 대한 제로샷 일반화에서 뚜렷한 성과 향상을 보였다.

ABSTRACT

We propose a general class of language models that treat reference as an explicit stochastic latent variable. This architecture allows models to create mentions of entities and their attributes by accessing external databases (required by, e.g., dialogue generation and recipe generation) and internal state (required by, e.g. language models which are aware of coreference). This facilitates the incorporation of information that can be accessed in predictable locations in databases or discourse context, even when the targets of the reference may be rare words. Experiments on three tasks shows our model variants based on deterministic attention.

연구 동기 및 목표

• 기존 언어 모델이 참조 표현(예: 대명사, 고유명사)을 정적 토큰으로 간주하는 데서 비롯하는 한계를 해결하기 위해, 참조 표현을 동적 결정으로 명시적으로 모델링하는 것.
• 모델이 생성할 내용뿐만 아니라 그 출처(외부 데이터베이스, 재료 목록, 이전 대화 등)를 선택할 수 있도록 확률적 잠재 변수를 사용하여 참조 결정을 가능하게 하는 것.
• 공호성 해결, 목록 참조, 데이터베이스 상호작용이 필요한 응용 분야에서 참조 결정을 명시적으로 모델링함으로써 성능 향상을 이루는 것.
• 참조를 잠재 변수로 간주함으로써, 특히 대화 및 요리 생성에서 희귀하거나 미리보지 않은 테이블 항목에 대해 더 나은 일반화 성능을 달성할 수 있음을 입증하는 것.

제안 방법

• 모델은 각 토큰 위치에 참조 표현을 생성할지 여부와 그 출처를 결정하는 잠재 변수 $ z_i $ 를 도입한다.
• 조건부 확률 $ p(x_i | c_i) $ 는 $ z_i $ 에 대한 주변 확률로 계산되며, $ p(x_i | z_i, c_i) $ 는 출처(예: 목록, 데이터베이스, 이전 토큰 등)에서의 생성을 모델링하고, $ p(z_i | c_i) $ 는 출처 선택을 모델링한다.
• 관측되지 않은 $ z_i $ 에 대해서는 훈련 중에 가능한 모든 참조 대상에 대해 주변 확률을 취하며, 참조 결정을 잠재 변수로 간주함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 이 프레임워크는 세 가지 설정을 지원한다: 정적 목록(예: 재료 목록) 참조, 외부 데이터베이스(예: 레스토랑 특성) 참조, 문서 내부의 공호성 해결(예: 대명사).
• 다양한 생성 방식(복사, 변환, 생성)을 잠재적 참조 결정에 따라 조건화하는 믹스처 오브 엑스퍼트 방식을 사용한다.
• 모델은 주변 가능도 $ p(x_i | c_i) = \sum_{z_i} p(x_i | z_i, c_i) p(z_i | c_i) $ 에 기반한 최대우도 기반으로 훈련되며, 이는 복사할 때와 어휘에서 생성할 때를 학습하는 데 도움이 된다.

실험 결과

연구 질문

• RQ1 참조 결정을 확률적 잠재 변수로 모델링하면, 동적 참조가 필요한 작업에서 언어 모델 성능 향상에 기여하는가?
• RQ2 참조를 잠재적 선택으로 간주할 경우, 새로운 데이터베이스 항목과 같은 희귀 또는 미리보지 않은 참조 대상에 대해 더 나은 일반화 성능를 달성하는가?
• RQ3 어텐션 기반 메커니즘과 비교했을 때, 명시적 참조 모델링은 퍼플렉서피와 생성 품질 측면에서 어떤가?
• RQ4 모델은 단순한 복사 외에도 맥락에 따라 참조 표현 형식을 다양화할 수 있는가(예: 'Jane' vs. 'she')?

주요 결과

• 잠재적 참조 결정을 사용하는 참조 인식 모델은 표준 언어 모델 및 결정론적 어텐션을 사용하는 모델보다 낮은 퍼플렉서피를 기록했으며, 특히 개체 및 테이블 전용 토큰에서 두드러진 성능 향상을 보였다.
• 공호성 기반 언어 모델링에서 잠재적 참조 결정을 사용한 모델은 엔티티 퍼플렉서피를 44.52(LM)에서 28.56(Pointer + init)로 감소시켜 공호성 처리 능력 향상을 입증했다.
• 테이블 포인터 모델(데이터베이스 셀에 명시적 참조)은 테이블 토큰에서 가장 낮은 퍼플렉서피(32.62)를 기록했으며, 특히 미리보지 않은 테이블 항목에서 명시적 참조가 없는 모델보다 뚜렷한 성능 향상을 보였다.
• 잠재적 참조 결정을 사용한 모델는 희귀하거나 미리보지 않은 테이블 항목에 대해 더 나은 일반화 성능를 보였으며, 테스트 전용 테이블 토큰에서의 퍼플렉서피가 낮다는 것으로 확인되었다.
• 포인터 모델을 사전 훈련된 언어 모델 가중치로 초기화함으로써 엔티티어드 및 비엔티티어드 단어 모두에서 성능 향상이 있었으며, 이는 두 구성 요소 간 효과적인 가중치 전이가 이루어졌음을 시사한다.
• 어텐션 히트맵의 시각화 결과, 모델이 맥락에 따라 관련 참조 대상(예: 재료 목록, 데이터베이스 항목)을 정확히 선택하는 것을 확인할 수 있었다.