[논문 리뷰] Logic Attention Based Neighborhood Aggregation for Inductive Knowledge Graph Embedding

Peifeng Wang, Jialong Han외 2명|arXiv (Cornell University)|2018. 11. 04.

Advanced Graph Neural Networks참고 문헌 27인용 수 10

한 줄 요약

이 논문은 유추적 지식 그래프 임베딩을 위한 새로운 이웃 집합 기반 기법인 논리 주의망(Logic Attention Network, LAN)을 제안한다. LAN은 순열 불변성, 중복 인지, 질의 관계 인지 등의 성질을 동시에 만족시키며, 논리 규칙과 신경 주의를 융합하여 이웃 집합의 집합 방식을 개선한다. 링크 예측 및 삼중체 분류 과제에서 기존의 기준 기반 모델들을 능가하며, 희박한 지식 그래프에서 뛰어난 강건성과 사례 연구에서 효과적인 이웃 가중치 부여를 입증한다.

ABSTRACT

Knowledge graph embedding aims at modeling entities and relations with low-dimensional vectors. Most previous methods require that all entities should be seen during training, which is unpractical for real-world knowledge graphs with new entities emerging on a daily basis. Recent efforts on this issue suggest training a neighborhood aggregator in conjunction with the conventional entity and relation embeddings, which may help embed new entities inductively via their existing neighbors. However, their neighborhood aggregators neglect the unordered and unequal natures of an entity's neighbors. To this end, we summarize the desired properties that may lead to effective neighborhood aggregators. We also introduce a novel aggregator, namely, Logic Attention Network (LAN), which addresses the properties by aggregating neighbors with both rules- and network-based attention weights. By comparing with conventional aggregators on two knowledge graph completion tasks, we experimentally validate LAN's superiority in terms of the desired properties.

연구 동기 및 목표

• 학습 중에 나타나지 않은 새로운 엔티티의 임베딩 문제를 해결하기 위해.
• 효과적인 이웃 집합 기반 기법을 위해 필수적인 세 가지 성질(순열 불변성, 중복 인지, 질의 관계 인지)을 규명하기 위해.
• 이 세 성질을 모두 만족하는 새로운 집합 기반 기법인 논리 주의망(Logic Attention Network, LAN)을 설계하기 위해.
• 기존의 집합 기반 기법들에 비해 LAN의 우월성을 유추적 지식 그래프 보완 과제에서 검증하기 위해.

제안 방법

• LAN은 이중 수준의 주의 메커니즘을 사용한다: 거시 수준에서는 관계를 가중치 부여하기 위해 논리 규칙 기반 주의를, 미시 수준에서는 개별 이웃을 가중치 부여하기 위해 신경 주의를 사용한다.
• 논리 규칙 메커니즘은 전이성 또는 대칭성과 같은 관계 간의 사전 정의된 논리적 의존성에 기반해 초기 주의 가중치를 할당한다.
• 이웃 수준의 신경 주의는 질의 관계 임베딩을 사용하여 가중치를 보정함으로써 질의 인지 집합을 가능하게 한다.
• 최종 엔티티 표현은 주의 가중치를 통해 계산된 이웃 임베딩의 가중합이며, 순열 불변성을 보장하기 위해 미분 가능한 메커니즘을 사용한다.
• 링크 예측과 삼중체 분류를 위한 점수 함수를 사용해 엔드 투 엔드로 모델을 훈련한다.
• 이 프레임워크는 유추 추론을 지원한다: 알려지지 않은 엔티티는 학습된 집합 기반 기법을 사용해 관측된 이웃들만을 기반으로 임베딩된다.

실험 결과

연구 질문

• RQ1 이웃의 순서가 바뀌더라도 영향을 받지 않는 지식 그래프의 이웃 집합 기반 기법을 설계할 수 있는가?
• RQ2 이웃 사실 간의 중복성을 효과적으로 활용하면 임베딩 품질을 향상시킬 수 있는가?
• RQ3 질의 관계 정보를 통합할 경우, 유추적 지식 그래프 임베딩 성능이 얼마나 향상되는가?
• RQ4 논리 규칙과 신경 주의를 융합하면 순수 신경 기반 또는 규칙 기반 접근법을 능가할 수 있는가?
• RQ5 희박한 지식 그래프에서, 특히 알려지지 않은 엔티티 비율이 높은 상황에서 제안된 방법의 강건성은 어느 정도인가?

주요 결과

• LAN은 링크 예측 및 삼중체 분류 과제에서 MEAN 및 LSTM 기준 모델들을 뚜렷이 능가하며, 모든 평가 지표에서 일관된 향상을 보였다.
• 제거 실험 결과, 단독으로 논리 규칙 메커니즘을 사용할 경우 신경 주의만 사용하는 것보다 더 큰 성능 향상을 달성했으며, 이는 상징적 지식의 효과성을 입증한다.
• 질의 주의(Query-Attention)는 전역 주의(Global-Attention) 및 MEAN보다 우수한 성능을 보였으며, 이는 이웃 집합에서 질의 인지의 중요성을 확인한다.
• LAN은 알려지지 않은 엔티티 비율이 증가함에 따라 상대적으로 안정된 성능을 유지하며, MEAN 및 LSTM에 비해 희박한 지식 그래프에서 더 높은 강건성을 보였다.
• 사례 연구 결과, LAN은 의미적으로 관련된 관계를 가진 이웃과 더 정보가 풍부한 엔티티에 더 높은 주의 가중치를 할당함으로써 인간의 추론과 일치함을 확인했다.