[논문 리뷰] Learning Collaborative Agents with Rule Guidance for Knowledge Graph Reasoning

Deren Lei, Gangrong Jiang외 4명|arXiv (Cornell University)|2020. 05. 01.

Advanced Graph Neural Networks참고 문헌 23인용 수 5

한 줄 요약

이 논문은 희박한 보상 신호 문제를 해결하기 위해 상징적 규칙 지도를 통합함으로써 워크기반 지식 그래프 추론을 향상시키는 협업 강화학습 프레임워크인 RuleGuider를 제안한다. 엔티티 및 관계 하위 에이전트로 에이전트를 분리하고 AnyBURL에서 유도한 고품질 규칙을 보상 형상화에 활용함으로써, RuleGuider는 WN18RR 및 NELL-995에서 최신 기술 성능을 개선하면서도 해석 가능성과 행동 공간 복잡도를 유지한다.

ABSTRACT

Walk-based models have shown their advantages in knowledge graph (KG) reasoning by achieving decent performance while providing interpretable decisions. However, the sparse reward signals offered by the KG during traversal are often insufficient to guide a sophisticated walk-based reinforcement learning (RL) model. An alternate approach is to use traditional symbolic methods (e.g., rule induction), which achieve good performance but can be hard to generalize due to the limitation of symbolic representation. In this paper, we propose RuleGuider, which leverages high-quality rules generated by symbolic-based methods to provide reward supervision for walk-based agents. Experiments on benchmark datasets show that RuleGuider improves the performance of walk-based models without losing interpretability.

연구 동기 및 목표

• 워크기반 지식 그래프 추론에서 표준 강화학습 에이전트가 제한된 피드백으로 인해 어려움을 겪는 희박한 보상 문제를 해결하기 위해.
• 일부 데이터셋에서 높은 정확도를 보이는 상징적 규칙 기반 추론의 강점과 워크기반 강화학습 방법의 해석 가능성의 장점을 융합하기 위해.
• 엔티티와 관계 선택을 분리함으로써 행동 공간을 줄여 학습 효율성을 향상시키기 위해.
• 지식 그래프 완성 작업에서 최신 기술 성능을 달성하면서도 모델의 해석 가능성을 유지하기 위해.
• 규칙 지도 추론이 더 인간이 이해할 수 있고 논리적으로 타당한 추론 경로를 생성하는지 평가하기 위해.

제안 방법

• RuleGuider는 지식 그래프 내에서 추론 경로를 생성하기 위해 협업하는 엔티티 에이전트와 관계 에이전트로 구성된 이중 에이전트 아키텍처를 사용한다.
• 에이전트는 표준 '히트' 신호(밀도 높은 보상)와 사전에 추출한 상징적 규칙에서 유도된 규칙 기반 보상 형상화를 조합한 보상 함수를 사용한다.
• 상징적 규칙는 최신 기술 규칙 추출 방법인 AnyBURL를 사용해 추출되며, 학습 중에 강화학습 에이전트를 지도하기 위해 활용된다.
• 행동 공간은 엔티티와 관계 선택을 분리함으로써 정제되어, 각 단계당 가능한 행동 수가 감소한다.
• 표준 강화학습으로의 피니튜닝 이전에 규칙 지도 감독을 사용해 에이전트를 사전 훈련하는 단계가 포함된다.
• 모델은 보상 형상화와 경로 점수 계산에 ComplEx 임베딩을 사용하여 기존 지식 그래프 임베딩 기법과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 상징적 규칙는 워크기반 강화학습 에이전트의 샘플 효율성과 성능을 지식 그래프 추론에서 크게 향상시킬 수 있는가?
• RQ2 규칙 지도 보상 형상화는 표준 강화학습 기반 모델 대비 더 해석 가능하고 인간이 이해하기 쉬운 추론 경로를 제공하는가?
• RQ3 에이전트를 엔티티 및 관계 하위 에이전트로 분리하는 것이 성능와 행동 공간 복잡도에 어떤 영향을 미치는가?
• RQ4 희박한 보상 신호 문제를 보완하기 위해 규칙 지도가 지식 그래프의 불완전성에 얼마나 효과적으로 기여하는가?
• RQ5 규칙 품질이 다양한 데이터셋(예: WN18RR 대비 FB15k-237)에서 다양할 경우, 규칙 지도 에이전트는 일반화 가능한가?

주요 결과

• RuleGuider는 WN18RR 및 NELL-995에서 최신 기술 성능을 달성하여 H@1 42.9와 MRR 46.5를 기록하며 기존 워크기반 방법을 능가한다.
• FB15k-237에서는 경쟁력 있는 성능(예: H@1: 42.4, MRR: 46.4)을 기록했지만, 대규모 관계 공간에서의 희박한 규칙 커버리지로 인해 성능에 한계가 있다.
• FB15K-237에서의 인간 평가 결과, 63.08%의 투표자가 RuleGuider의 추론 경로를 Multihop의 경로보다 선호하여 더 높은 해석 가능성과 논리적 타당성을 확인했다.
• 절단 실험 결과, 규칙를 사용한 사전 훈련과 에이전트 분리가 성능 향상에 기여하며, 행동 공간이 더 큰 단일 에이전트 버전은 성능이 열 劣하다.
• WN18RR에서의 학습 과정을 통해 저품질 규칙을 동적으로 기각함을 확인했으며, 규칙 사용 비율이 사전 훈련 시 45.6%에서 학습 시 32.1%로 감소했다.
• 규칙 지도 활용으로 희박한 밀도 높은 보상에 대한 의존도가 감소하여, 희박한 지식 그래프에서 더 안정적이고 효과적인 학습이 가능해졌다.