[논문 리뷰] Augmenting End-to-End Dialog Systems with Commonsense Knowledge

Tom Young, Erik Cambria외 4명|arXiv (Cornell University)|2017. 09. 16.

Topic Modeling인용 수 29

한 줄 요약

이 논문은 엔드 투 엔드 검색 기반 대화 시스템에 개념망(ConceptNet)에서 유래한 외부 공통 지식을 LSTM 기반 메모리 인코더를 사용해 통합하여 응답 선택 성능을 향상시키는 방법을 제안한다. 메시지 내용과 관련된 공통 지식 진술을 최대 풀링을 통해 동시에 인코딩함으로써, 지식이 없는 기준 모델 대비 유의미한 성능 향상을 달성하였으며, Recall@1은 32.6%인 TF-IDF 기준 모델 대비 77.5%로 상승하였다.

ABSTRACT

Building dialog agents that can converse naturally with humans is a challenging yet intriguing problem of artificial intelligence. In open-domain human-computer conversation, where the conversational agent is expected to respond to human responses in an interesting and engaging way, commonsense knowledge has to be integrated into the model effectively. In this paper, we investigate the impact of providing commonsense knowledge about the concepts covered in the dialog. Our model represents the first attempt to integrating a large commonsense knowledge base into end-to-end conversational models. In the retrieval-based scenario, we propose the Tri-LSTM model to jointly take into account message and commonsense for selecting an appropriate response. Our experiments suggest that the knowledge-augmented models are superior to their knowledge-free counterparts in automatic evaluation.

연구 동기 및 목표

• 외부 공통 지식을 메모리 구성 요소로 통합하여 개방형 대화 시스템의 성능을 향상시키는 것.
• 메시지 내용 외에 공통 지식이 검색 기반 모델의 응답 선택에 영향을 주는지 조사하는 것.
• 대규모 이질적 공통 지식 기반(ConceptNet)이 엔드 투 엔드 대화 시스템에 효과적으로 활용될 수 있는지 탐색하는 것.
• 단순히 단어 임베딩이나 어텐션 메커니즘에 의존하는 것보다 공통 지식 진술을 명시적으로 인코딩하는 것이 모델 성능 향상에 기여하는지 평가하는 것.
• 향후 감정적 지능을 향상시키기 위해 정서적 및 사실 기반 지식을 통합할 수 있는 기반을 마련하는 것.

제안 방법

• 모델은 메시지 인코딩용 및 공통 지식 진술 인코딩용으로 구성된 이중 인코더 아키텍처를 사용하며, 양방향 LSTM을 활용한다.
• 메시지와 관련된 공통 지식 진술은 키워드 기반 매칭을 통해 ConceptNet에서 검색되며, 이후 LSTM 인코더를 통해 벡터 표현으로 변환된다.
• 최종적인 컨텍스트 표현은 인코딩된 진술들에 대해 최대 풀링을 적용한 후, 메시지 표현과 함께 결합되어 응답 점수 산정에 사용된다.
• 검색 기반 설정에서는 컨텍스트 벡터와 후보 응답 간의 내적곱 유사도 점수를 기반으로 상위 응답을 선택한다.
• 모델는 메시지와 긍정적 응답 간의 유사도를 높이고 부정적 응답은 낮추기 위해 마진 기반 순서 매김 손실 함수를 사용해 엔드 투 엔드로 훈련된다.
• 사용된 지식 기반은 개념망(ConceptNet)으로, 일반 개념 간 이질적인 의미 관계(예: IsA, RelatedTo)를 제공한다.

실험 결과

연구 질문

• RQ1 메시지 내용 외에 외부 공통 지식이 검색 기반 대화 시스템의 응답 선택에 성능 향상에 기여할 수 있는가?
• RQ2 대규모 공통 지식 기반인 개념망(ConceptNet)의 통합이 응답의 적합성과 다양성 향상에 얼마나 효과적인가?
• RQ3 LSTM 인코더를 통해 공통 지식 진술을 명시적으로 인코딩하는 것이 단어 임베딩이나 어텐션 메커니즘에만 의존하는 모델보다 우월한가?
• RQ4 개방형 대화에서 메시지의 모호하거나 희박한 내용에 대해 공통 지식이 얼마나 효과적으로 보완 기능을 할 수 있는가?
• RQ5 모델의 성능이 인간 기준 대비 어떻게 평가되는가?

주요 결과

• 지식 증강 이중-LSTM 모델은 Recall@1이 77.5%를 기록하여 TF-IDF 기준 모델(32.6%)과 단어 임베딩 기준 모델(73.5%)보다 유의미하게 높은 성능을 보였다.
• 더 복잡한 인코더를 사용하는 트리플-LSTM 모델도 Recall@1이 77.5%를 기록하여, 간단한 모델 대비 더 깊은 인코딩이 성능 향상에 기여함을 시사했다.
• 사례 연구 결과, 'bonjour, IsA, hello_in_french' 및 'pink, RelatedTo, colour'와 같은 공통 지식 진술이 문맥이 모호하거나 문화적으로 섬세한 메시지에서 정확한 응답 선택을 가능하게 했다.
• 공통 지식이 필수적이지 않은 경우, 두 모델 간 성능이 유사하게 나타나, 메모리 모듈이 관련 지식이 필요한 경우에만 활성화됨을 시사했다.
• 명시적 메모리가 없더라도 일부 공통 지식은 단어 임베딩을 통해 암묵적으로 포착될 수 있으나, 명시적 통합이 더 신뢰성 있고 일관된 결과를 제공함을 입증했다.
• 인간의 동일한 작업에서 Recall@1은 87.0%에 도달하여, 모델이 상당한 성능 향상을 이뤘지만 여전히 인간 수준의 이해에 도달하지 못한 점을 보여주었다.