[논문 리뷰] Data-dependent Learning of Symmetric/Antisymmetric Relations for Knowledge Base Completion

Hitoshi Manabe, Katsuhiko Hayashi외 1명|arXiv (Cornell University)|2018. 08. 25.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 관측된 훈련 데이터에 기반해 관계 표현의 대칭성 또는 반대칭성을 적응적으로 장려하는 데이터 기반 L1 정규화 방법을 ComplEx 임베딩에 제안한다. 결합된 파rameter에 대한 곱셈형 L1 정규화를 적용함으로써, 특히 저자료 환경에서 FB15k와 WN18에서 지식 기반 완성 성능을 향상시켜 표준 L1 및 L2 기반선보다 뛰어난 성능을 보인다.

ABSTRACT

Embedding-based methods for knowledge base completion (KBC) learn representations of entities and relations in a vector space, along with the scoring function to estimate the likelihood of relations between entities. The learnable class of scoring functions is designed to be expressive enough to cover a variety of real-world relations, but this expressive comes at the cost of an increased number of parameters. In particular, parameters in these methods are superfluous for relations that are either symmetric or antisymmetric. To mitigate this problem, we propose a new L1 regularizer for Complex Embeddings, which is one of the state-of-the-art embedding-based methods for KBC. This regularizer promotes symmetry or antisymmetry of the scoring function on a relation-by-relation basis, in accordance with the observed data. Our empirical evaluation shows that the proposed method outperforms the original Complex Embeddings and other baseline methods on the FB15k dataset.

연구 동기 및 목표

• 과도한 파rameter로 인해 표준 ComplEx 임베딩이 대칭 및 반대칭 관계를 모델링하는 데 비효율적인 문제를 해결하기 위해.
• 사전 지식에 의존하지 않고 실제 훈련 데이터에서 관측된 대칭성/반대칭성에 적응하는 정규화 방법을 개발하기 위해.
• 대칭성 또는 반대칭성을 보이는 관계에 대해 더 희소하고 더 구조화된 표현을 장려함으로써 지식 기반 완성 성능을 향상시키기 위해.
• 순수하게 대칭적이지도, 반대칭적이지도 않은 관계에 대해서는 모델의 표현력을 유지하여 과도한 제약을 방지하기 위해.

제안 방법

• ComplEx의 실수부 및 허수부를 포함한 관계 벡터의 쌍화된 파rameter의 곱에 적용되는 곱셈형 L1 정규화를 제안한다.
• 정규화는 데이터 기반 대칭성 점수에 기반해 대칭 관계에 대해 관계 벡터의 허수부를 감소시키고, 반대칭 관계에 대해 실수부를 감소시키도록 유도한다.
• 대칭성은 주어진 관계에 대해 대칭적 양성 트리플릿 수를 전체 양성 트리플릿 수로 나눈 비율인 대칭성 점수로 정량화된다.
• 표준 ComplEx 점수 함수와 실수 및 허수 성분의 곱에 대한 곱셈형 L1 페널티를 결합한 수정된 손실 함수를 사용한다.
• 모델은 미분 가능하고 엔드 투 엔드로 훈련 가능하도록 설계되어 임베딩과 정규화를 함께 최적화할 수 있다.
• 합성 데이터를 통해 대칭/반대칭 패턴 학습 능력을 검증하고, FB15k 및 WN18과 같은 실세계 데이터셋에서도 평가한다.

실험 결과

연구 질문

• RQ1 사전 지식 없이 데이터 기반 정규화 방법이 관계 임베딩의 대칭성 또는 반대칭성을 효과적으로 식별하고 장려할 수 있는가?
• RQ2 곱셈형 L1 정규화가 표준 L1 또는 L2 정규화보다 대칭 및 반대칭 관계에 대해 더 나은 표현 학습을 이끌 수 있는가?
• RQ3 제안된 방법은 실세계 지식 기반 완성 벤치마크에서 특히 저자료 설정에서 어떻게 성능을 발휘하는가?
• RQ4 실제 데이터셋에서 관계의 실제 대칭성/반대칭성과 학습된 임베딩의 구조 간 상관관계는 어느 정도인가?

주요 결과

• 제안된 곱셈형 L1 정규화 방법은 FB15k 데이터셋에서 표준 L1 및 L2 정규화보다 유의미하게 뛰어난 성능을 보이며, 더 높은 필터링 MRR 점수를 달성한다.
• 훈련 데이터의 절반만 사용한 WN18에서, 표준 L1보다 더 큰 성능 향상을 보이며 데이터 효율성이 향상됨을 확인하였다.
• 합성 데이터 실험을 통해 제안된 방법이 의도한 대로 대칭 및 반대칭 점수 함수를 성공적으로 학습하는 것으로 확인되었다.
• 관계 벡터 성분의 시각화 결과, 대칭성 점수와 허수부의 희소성(대칭 관계에 대해) 및 실수부의 희소성(반대칭 관계에 대해) 간 강한 상관관계가 관찰되어, 방법의 의도된 행동이 올바르게 작동함을 검증하였다.
• FB15k에서 8회 시도에 걸쳐 MRR 점수의 변동성이 낮아 무작위 초기화에 대해 성능이 안정적임을 입증하였다.
• FB15k와 WN18 양쪽 데이터셋에서 모든 평가 지표에서 기존 ComplEx 및 표준 L1 정규화된 ComplEx보다 제안된 방법이 일관되게 뛰어난 성능을 보였다.