[논문 리뷰] Using Ternary Rewards to Reason over Knowledge Graphs with Deep Reinforcement Learning.

Fréderic Godin, Anjishnu Kumar외 1명|arXiv (Cornell University)|2019. 02. 26.

Topic Modeling참고 문헌 5인용 수 4

한 줄 요약

이 논문은 지식 그래프 질의응답에서 딥 강화학습 에이전트를 위한 삼항 보상 메커니즘을 제안하며, 이중 보상 대신 세 가지 결과로 보상 체계를 대체한다: 정답, 오답, 또는 기피(중단). 불확실할 경우 답변을 하지 않도록 에이전트를 훈련시킴으로써 정밀도는 크게 향상되지만 재현율 손실는 최소화되며, 실제 환경에서 신뢰도를 모델링하지 못하는 기존 평가 지표들을 능가한다.

ABSTRACT

In this paper, we investigate the challenges of using reinforcement learning agents for question-answering over knowledge graphs for real-world applications. We examine the performance metrics used by state-of-the-art systems and determine that they are inadequate for such settings. More specifically, they do not evaluate the systems correctly for situations when there is no answer available and thus agents optimized for these metrics are poor at modeling confidence. We introduce a simple new performance metric for evaluating question-answering agents that is more representative of practical usage conditions, and optimize for this metric by extending the binary reward structure used in prior work to a ternary reward structure which also rewards an agent for not answering a question rather than giving an incorrect answer. We show that this can drastically improve the precision of answered questions while only not answering a limited number of previously correctly answered questions. Employing a supervised learning strategy using depth-first-search paths to bootstrap the reinforcement learning algorithm further improves performance.

연구 동기 및 목표

• 지식 그래프 상의 질의응답 에이전트 평가에 있어 기존 성능 지표의 부적합성을 다루며, 특히 답이 없는 질문을 다룰 때의 문제점을 해결하기 위해.
• 실제 배포 환경에서 신뢰도와 기피가 핵심이 되는 조건을 더 잘 반영하는 새로운 평가 지표를 설계하기 위해.
• 삼항 보상 구조를 사용하여 이 새로운 지표를 최적화하는 강화학습 프레임워크를 개발하기 위해.
• 불확실할 경우 기피 기능을 통해 정밀도를 높이고 재현율을 크게 훼손하지 않으면서 에이전트 성능을 향상시키기 위해.
• 감독 학습 기반 깊이 우선 탐색 경로를 활용하여 수렴 속도를 향상시키기 위해.

제안 방법

• 기본 이중 보상 설정을 삼항 보상 체계로 확장: 정답에 +1, 오답에 -1, 확신 있는 답변이 없을 경우 기피에 0을 부여.
• 강화학습 목표를 재정의하여 잘못된 답변을 최소화하고 정답 답변 및 기피 행동을 최대화하도록 우선순위를 조정.
• 불확실성이 높을 경우 답변을 하지 않도록 학습하는 신뢰도 인식 정책을 도입하며, 삼항 보상 신호를 통해 모델링.
• 지식 그래프에서 유도된 깊이 우선 탐색 경로를 감독 학습하여 에이전트의 정책을 초기화함으로써 수렴 속도를 가속화.
• 딥 Q 네트워크(DQN)를 사용하여 수정된 보상 함수를 적용해 질의응답 작업에 대해 종단 간 훈련을 수행.
• 실제 배포 요구사항을 더 잘 반영하기 위해 잘못된 답변에 대한 벌점과 기피에 대한 보상 기반의 새로운 지표를 사용해 성능을 평가.

실험 결과

연구 질문

• RQ1 표준 이중 보상 지표는 답이 없는 질문이 흔한 실제 질의응답 시나리오를 어떻게 반영하지 못하는가?
• RQ2 기피를 포함하는 삼항 보상 체계는 지식 그래프 QA 에이전트의 정밀도와 신뢰성 향상에 기여하는가?
• RQ3 기피를 유효한 행동으로 도입할 경우 잘못된 답변 수는 얼마나 줄어들고, 답변되는 질문 수는 얼마나 감소하는가?
• RQ4 감독 학습 기반 DFS 경로를 활용한 부트스트랩핑이 삼항 보상 강화학습 에이전트의 수렴 및 성능에 어떤 영향을 미치는가?
• RQ5 제안된 지표는 기존 평가 기준보다 실제 배포 조건을 더 잘 반영하는가?

주요 결과

• 삼항 보상 메커니즘은 불확실할 경우 기피 기능을 통해 정답을 줄이고 잘못된 응답을 감소시켜 답변 정밀도를 크게 향상시킨다.
• 이 방법은 높은 재현율을 유지하며, 이전에 정확하게 답변된 거의 모든 질문에 대해 답변을 제공하며, 새로운 기피 행동은 제한된 수에 그친다.
• 신뢰도와 답이 없는 질문을 고려한 새로운 평가 지표는 표준 지표와 달리 실제 환경 성능을 더 잘 반영한다.
• 감독 학습 기반 DFS 경로 부트스트랩핑은 학습을 가속화하고 특히 초기 학습 단계에서 성능 향상에 기여한다.
• 삼항 보상으로 훈련된 에이전트는 이중 보상으로 훈련된 에이전트보다 정밀도와 신뢰도 캘리브레이션 측면에서 뛰어나다.
• 기피 행동에 보상을 주는 것이 지식 그래프 질의응답 시스템의 강건성 향상에 실현 가능하고 효과적인 전략임을 입증한다.