[논문 리뷰] Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation

Tiancheng Zhao, Kyusong Lee외 1명|arXiv (Cornell University)|2018. 04. 22.

Topic Modeling참고 문헌 33인용 수 23

한 줄 요약

이 논문은 상호정보량 최대화와 맥락 예측을 통한 변분 오토인코더 개선을 통해 해석 가능한 잠재 행동을 학습하는 비지도 학습 기반 이산 문장 표현 모델인 DI-VAE와 DI-VST를 제안한다. 인코더-디코더 대화 모델과 통합된 이 방법들은 제어 가능하고 인간이 이해할 수 있는 응답 생성을 가능하게 하며, 실제 대화 데이터셋에서 분리된 의미 표현과 속성 제어 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The encoder-decoder dialog model is one of the most prominent methods used to build dialog systems in complex domains. Yet it is limited because it cannot output interpretable actions as in traditional systems, which hinders humans from understanding its generation process. We present an unsupervised discrete sentence representation learning method that can integrate with any existing encoder-decoder dialog models for interpretable response generation. Building upon variational autoencoders (VAEs), we present two novel models, DI-VAE and DI-VST that improve VAEs and can discover interpretable semantics via either auto encoding or context predicting. Our methods have been validated on real-world dialog datasets to discover semantic representations and enhance encoder-decoder models with interpretable generation.

연구 동기 및 목표

• 기존 신경 대화 시스템이 전통적인 시스템처럼 인간이 이해할 수 있는 행동을 출력하지 못하는 해석 가능성 부족 문제를 해결하기 위해.
• 수동 레이블링 없이도 의미 있는 이산 잠재 표현(잠재 행동)을 비정형 대화 데이터로부터 학습하기 위해.
• 기존 인코더-디코더 모델에 이러한 이산 표현을 통합하여 해석 가능하고 제어 가능한 응답 생성을 가능하게 하기 위해.
• 이산 변수 학습에서 ELBO 목적함수의 반정보 성향을 극복함으로써 변분 오토인코더를 향상시키기 위해.
• 자동인코딩 외에 스킵 토크렌의 이산 버전을 통해 맥락 예측을 통합함으로써 학습 신호를 강화하기 위해.

제안 방법

• ELBO의 반정보 편향을 극복하기 위해 입력 문장과 이산 잠재 변수 간의 상호정보량을 최대화하는 이산 정보 VAE인 DI-VAE를 제안한다.
• 대화 맥락에서 주변 발화를 예측함으로써 문장 표현을 학습하는 스킵 토크렌의 이산 버전인 DI-VST를 도입한다.
• 신경망 내에서 이산 잠재 변수의 미분 가능 학습을 가능하게 하기 위해 고무젤-소프트맥스 재생산 기법을 활용한다.
• 잠재 행동이 인코더-디코더 아키텍처의 디코더를 조절하는 데 사용되도록, 잠재 행동을 통합한 공동 학습 프레임워크를 설계한다.
• 생성된 응답이 예측된 잠재 행동과 일치하도록 유도하기 위해 속성 손실 $\mathcal{L}_{\text{attr}}$ 를 도입하여 제어성과 일관성을 향상시킨다.
• 대화 맥락에서 잠재 행동을 예측하기 위한 정책 네트워크 $\pi$ 를 사용하여 엔드 투 엔드 해석 가능한 대화 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비지도 학습 기반 이산 문장 표현 학습이 비정형 대화 데이터에서 해석 가능하고 의미적으로 유의미한 잠재 행동을 발견할 수 있는가?
• RQ2 입력과 잠재 변수 간의 상호정보량 최대화가 표준 VAE에 비해 이산 표현의 품질을 어떻게 향상시키는가?
• RQ3 DI-VST를 통한 맥락 예측은 자동인코딩만으로는 부족한, 분리된 문장 표현 학습을 위한 더 강력하거나 보완적인 신호를 제공하는가?
• RQ4 학습된 이산 잠재 행동이 응답의 특정 속성(예: 대화 액션 또는 응답 유형)을 얼마나 잘 제어할 수 있는가?
• RQ5 정책 네트워크 $\pi$ 는 대화 맥락에서 정확한 잠재 행동을 얼마나 잘 예측할 수 있으며, 이는 다양한 대화 도메인 간에 어떻게 달라지는가?

주요 결과

• DI-VAE와 DI-VST는 표준 VAE보다 의미 있는 이산 잠재 표현 학습에서 뚜렷한 성능 향상을 보이며, DI-VAE는 $\mathcal{L}_{\text{attr}}$ 와 결합했을 때 SMD에서 94.8%의 속성 정확도를 달성한다.
• 잠재 행동을 인코더-디코더 프레임워크에 통합함으로써 제어 가능한 응답 생성이 가능해졌으며, 생성된 응답이 주어진 잠재 행동과 매우 일관된 편이다.
• $\mathcal{L}_{\text{attr}}$ 를 추가함으로써 제어 성능이 향상되었으며, 특히 도전적인 개방형 데이터셋인 SW와 DD에서는 ST-ED에서 속성 정확도가 57.3%에서 61.3%로 상승한다.
• 정책 네트워크 $\pi$ 는 ST-ED에서 SMD에서 낮은 퍼플렉서티(1.695)와 높은 정확도(75.5%)를 기록하여, 자동인코딩된 것보다 맥락 기반의 잠재 행동이 더 예측하기 쉬운 것으로 나타났다.
• DI-VST 기반의 잠재 행동은 DI-VAE 기반의 행동보다 정책 네트워크에 의해 더 예측 가능했으며, 이는 맥락 인식 표현이 고수준 대화 정책 학습에 더 적합함을 시사한다.
• 추론 예시에서는 AE-ED가 세밀한 그러나 정확도가 낮은 행동을 생성한다(예: 'give loc info' 확률 34%), 반면 ST-ED는 더 확신 있고 해석 가능한 행동을 생성한다(예: 'give loc info' 확률 93%).