[논문 리뷰] Learning Representation Mapping for Relation Detection in Knowledge Base Question Answering

Peng Wu, Shujian Huang외 5명|arXiv (Cornell University)|2019. 07. 17.

Topic Modeling참고 문헌 32인용 수 6

한 줄 요약

이 논문은 지식 그래프의 관계 임베딩과 질문-삼중항 쌍의 관계 임베딩 간의 매핑을 학습하여 지식 기반 질문 응답(KBQA)에서 zero-shot 관계 검출 성능을 향상시키기 위해 표현 어댑터를 제안한다. 적대적 및 재구성 목표를 통합함으로써, 훈련 데이터에 존재하지 않은 관계에 대해서도 성능을 크게 향상시키면서도 기존 상태의 최고 성능를 유지함으로써, KBQA 일반화에서 중요한 격차를 메운다.

ABSTRACT

Relation detection is a core step in many natural language process applications including knowledge base question answering. Previous efforts show that single-fact questions could be answered with high accuracy. However, one critical problem is that current approaches only get high accuracy for questions whose relations have been seen in the training data. But for unseen relations, the performance will drop rapidly. The main reason for this problem is that the representations for unseen relations are missing. In this paper, we propose a simple mapping method, named representation adapter, to learn the representation mapping for both seen and unseen relations based on previously learned relation embedding. We employ the adversarial objective and the reconstruction objective to improve the mapping performance. We re-organize the popular SimpleQuestion dataset to reveal and evaluate the problem of detecting unseen relations. Experiments show that our method can greatly improve the performance of unseen relations while the performance for those seen part is kept comparable to the state-of-the-art. Our code and data are available at https://github.com/wudapeng268/KBQA-Adapter.

연구 동기 및 목표

• 훈련 데이터에 포함되지 않은 새로운 관계에 대해 기존 KBQA 시스템의 일반화 능력이 열 劣하다는 문제를 해결하기 위해.
• 특히 새로운 관계에 대한 표현 학습의 부족을 고려하여, zero-shot 관계 검출 문제를 깊이 있게 연구하기 위해.
• 지식 기반 지식 그래프에서 더 넓은 범위의 지식을 전달함으로써 관계 검출 성능을 향상시키는 새로운 매핑 메커니즘인 표현 어댑터를 제안하기 위해.
• SimpleQuestion 데이터셋을 볼 수 있도록 재구성하여, 기존 관계와 새로운 관계의 성능을 별도로 공정하게 평가할 수 있도록 하기 위해.
• 단지 기존 관계에 대해서만 훈련하는 것이 부족하며, KBQA에서 zero-shot 일반화가 명시적으로 다뤄져야 한다는 것을 입증하기 위해.

제안 방법

• 대규모 지식 기반(FB2M 등)에서의 지식 그래프 임베딩을 활용하여 인간이 주석 처리한 훈련 데이터의 제한된 커버리지 외부의 관계 표현을 사전에 훈련하기 위해.
• 질문-삼중항 관계 임베딩을 지식 그래프 관계 임베딩으로 매핑하는 데 사용할 수 있는 학습 가능한 매핑 헤드인 표현 어댑터를 훈련하기 위해.
• 기존 관계에 대해 초기 훈련을 위해 평균 제곱 오차 손실을 사용하기 위해.
• 매핑된 임베딩의 분포를 목표 지식 그래프 임베딩 공간과 일치시키기 위해 적대적 목표를 도입하기 위해.
• 재구성 목표를 적용하여, 매핑된 공간에서 원래의 관계 표현을 재구성함으로써 의미적 구조를 유지하기 위해.
• 기존 관계와 새로운 관계를 모두 사용하여 어댑터를 미세조정함으로써, 이전에 보지 못한 관계에 대해서도 zero-shot 추론이 가능하도록 하기 위해.

실험 결과

연구 질문

• RQ1 최근의 상태의 최고 성능을 보이는 KBQA 시스템은 훈련 데이터에 포함되지 않은 새로운 관계에서 성능이 어떻게 저하되는가?
• RQ2 지식 그래프 임베딩을 사용하여 KBQA에서 새로운 관계에 대한 표현 학습을 향상시킬 수 있는가?
• RQ3 적대적, 재구성 등의 훈련 목표 중에서 새로운 관계로의 일반화 능력을 향상시키는 데 가장 효과적인 것은 무엇인가?
• RQ4 기존 관계와 새로운 관계의 검출 성능를 공정하게 평가하기 위해 균형 잡힌 벤치마크를 어떻게 구성할 수 있는가?
• RQ5 모든 관계에 대해 재훈련이 필요 없이, 간단한 어댑터 메커니즘이 대규모 지식 그래프에서 지식을 효과적으로 전달할 수 있는가?

주요 결과

• 제안된 표현 어댑터는 새로운 관계에 대한 zero-shot 관계 검출 성능을 크게 향상시키며, 이러한 경우에 실패하는 기준 모델들을 능가한다.
• 기존 관계에 대해서도 경쟁적인 성능를 유지하며, 전적으로 그것들을 최적화하지 않았음에도 불구하고 상태의 최고 성능 모델과 유사한 정확도를 달성한다.
• 적대적 및 재구성 목표가 함께 작용하여 어댑터의 일반화 능력을 향상시키며, 제거 실험을 통해 이들의 긍정적 기여를 확인할 수 있다.
• 사례 연구 결과, 어휘적 단서가 약한 경우에도 어댑터는 'music.recording.producer'와 같은 관계(미리 보지 않은 관계)를 정확히 식별하는 반면, 기준 모델들은 실패한다.
• 다시 구성된 SimpleQuestion-Balance 데이터셋은 표준 평가 프로토콜이 기존 관계와 테스트 관계 간의 높은 중복으로 인해 모델 성능을 과대평가한다는 것을 드러낸다.
• 결과는 단지 기존 관계 성능에 의존하는 것이 오해의 소지가 있으며, zero-shot 일반화 능력은 명시적으로 평가하고 최적화해야 한다는 것을 입증한다.