[논문 리뷰] Semantically Conditioned Dialog Response Generation via Hierarchical Disentangled Self-Attention

Wenhu Chen, Jianshu Chen외 3명|arXiv (Cornell University)|2019. 05. 30.

Topic Modeling참고 문헌 24인용 수 22

한 줄 요약

이 논문은 다층 그래프에서 대화 액션을 루트에서 리프로 향하는 경로로 모델링함으로써 확장 가능하고 의미적으로 제어 가능한 응답 생성을 가능하게 하는 계층적 분리된 자기주의 네트워크(HDSA)를 제안한다. 대화 액션 그래프의 특정 노드에 대응하도록 주의 헤드를 분리함으로써 HDSA는 MultiWOZ 데이터셋에서 강력한 성능을 달성하였으며, 자동 평가 및 인간 평가 지표에서 뚜렷한 향상을 보였다. 이는 기존 모델 대비 더 뛰어난 제어 가능성과 일반화 능력을 보여준다.

ABSTRACT

Semantically controlled neural response generation on limited-domain has achieved great performance. However, moving towards multi-domain large-scale scenarios are shown to be difficult because the possible combinations of semantic inputs grow exponentially with the number of domains. To alleviate such scalability issue, we exploit the structure of dialog acts to build a multi-layer hierarchical graph, where each act is represented as a root-to-leaf route on the graph. Then, we incorporate such graph structure prior as an inductive bias to build a hierarchical disentangled self-attention network, where we disentangle attention heads to model designated nodes on the dialog act graph. By activating different (disentangled) heads at each layer, combinatorially many dialog act semantics can be modeled to control the neural response generation. On the large-scale Multi-Domain-WOZ dataset, our model can yield a significant improvement over the baselines on various automatic and human evaluation metrics.

연구 동기 및 목표

• 다양한 도메인을 포함한 대화 응답 생성에서 발생하는 조합 폭발 문제를 해결함으로써 확장성을 향상시키는 것.
• 대화 액션 간의 구조적 관계를 활용하여 자원이 부족하거나 미리 보지 못한 대화 액션 조합에서의 일반화 능력 향상과 샘플 복잡도 감소.
• 대화 액션의 구조를 명시적으로 인덕티브 바이어스로 포함시켜 더 나은 의미적 제어력과 해석 가능성 확보를 위한 신경망 아키텍처 설계.
• MultiWOZ와 같은 대규모 다도메인 대화 데이터셋에서 뛰어난 성능을 달성하면서도 생성 응답의 제어 가능성과 일관성 유지.

제안 방법

• 대화 액션을 도메인, 동작, 슬롯에 해당하는 루트에서 리프로 향하는 경로로 표현하는 다층 계층적 그래프를 구축한다.
• 대화 액션 그래프의 특정 노드에 바인딩된 계층적 분리된 자기주의(HDSA) 네트워크를 설계한다.
• 학습 및 추론 시, 주어진 대화 액션의 경로에 해당하는 주의 헤드만 활성화함으로써 정밀한 의미적 제어를 구현한다.
• 각 레이어에서 스위치 메커니즘을 도입하여 대화 액션에 따라 동적으로 헤드를 활성화함으로써, 관련이 없는 액션 간의 파rameter 공유 없이 조합적 제어를 가능하게 한다.
• 기존의 벡터화된 입력 임베딩 대신, 그래프 구조를 트랜스포머 아키텍처에 인덕티브 바이어스로 통합한다.
• 대화 액션 경로가 네트워크 내 주의 흐름을 이끄는 방식으로, 응답 생성에 대한 교차 엔트로피 손실을 사용해 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 대화 액션의 계층적 그래프 표현이 다도메인 대화 시스템에서 샘플 복잡도를 감소시키고 일반화 능력을 향상시키는가?
• RQ2 분리된 주의 헤드가 지수적 파라미터 증가 없이 복잡한 구조적 대화 액션 의미를 효과적으로 모델링할 수 있는가?
• RQ3 대화 액션 구조를 인덕티브 바이어스로 통합할 경우, 기존의 순차적-순차적 모델 대비 더 나은 응답 일관성과 제어 가능성 확보가 가능한가?
• RQ4 제안된 방법이 자원이 부족한 환경에서 미리 보지 못한 대화 액션 조합에 대해 얼마나 잘 일반화되는가?

주요 결과

• HDSA는 MultiWOZ 데이터셋에서 응답 일관성에 대해 인간 선호도 55.4%를 기록하여, SC-LSTM(32.8%)과 Transformer-in(49.8%)을 크게 앞서며 뚜렷한 우월성을 보였다.
• 일관성에 대한 인간 평가에서 HDSA는 44.8%의 선호도를 기록하여, SC-LSTM의 36.1%보다 유의미한 향상을 보였으며, 대화 이력과의 일치도 향상됨을 시사했다.
• 자동 평가 지표에서 HDSA는 BLEU, ROUGE, FID 모두에서 기존 모델들을 능가했으며, 특히 소수의 샘플(예: 3샷) 설정에서 가장 뚜렷한 향상을 보였다.
• 계층적 그래프 표현은 대화 액션 표현의 지수적 비용을 근접 선형 수준으로 감소시켜, 복잡한 액션 조합의 확장 가능한 모델링을 가능케 했다.
• 인간 평가 결과, HDSA의 응답은 주어진 대화 액션과 더 높은 의미 일치도를 보였으며, 제어 가능성 평가에서 90%의 일치율을 기록했다.
• 모델는 대화 액션 그래프의 구조적 인덕티브 바이어스 덕분에 강력한 일반화 능력을 보였으며, 미리 보지 못한 테스트 케이스에서도 성능 향상을 보였다.