[논문 리뷰] Improved Representation Learning for Predicting Commonsense Ontologies

Xiang Li, Luke Vilnis외 1명|arXiv (Cornell University)|2017. 08. 01.

Topic Modeling참고 문헌 12인용 수 15

한 줄 요약

이 논문은 공공지식 온톨로지 학습을 위한 순서 임베딩 모델에 두 가지 확장을 제안한다: (1) 계층적 관계 예측을 향상시키기 위해 원시 텍스트와 함께 공동 학습하는 것, 그리고 (2) 온톨로지의 부분 순서 구조에서 유도된 장거리 조인 및 미트 제약 조건을 통합하는 것. 공동 학습 모델은 ConceptNet과 MCG에서 정확도를 92.0%에서 93.0%로 향상시키며, 제약 조건을 보완한 모델은 WordNet에서 90.6%에서 91.3%로 성능을 향상시킨다. 이는 구조화된 감독과 비구조화된 텍스트가 일관되고 일반화 가능한 표현을 학습하는 데 있어 가치가 있음을 보여준다.

ABSTRACT

Recent work in learning ontologies (hierarchical and partially-ordered structures) has leveraged the intrinsic geometry of spaces of learned representations to make predictions that automatically obey complex structural constraints. We explore two extensions of one such model, the order-embedding model for hierarchical relation learning, with an aim towards improved performance on text data for commonsense knowledge representation. Our first model jointly learns ordering relations and non-hierarchical knowledge in the form of raw text. Our second extension exploits the partial order structure of the training data to find long-distance triplet constraints among embeddings which are poorly enforced by the pairwise training procedure. We find that both incorporating free text and augmented training constraints improve over the original order-embedding model and other strong baselines.

연구 동기 및 목표

• 공동으로 계층적 관계와 비구조화된 텍스트를 모델링하여 공공지 온톨로지의 표현 학습을 향상시키는 것.
• 순서 임베딩의 이원 학습 제한을 극복하기 위해 온톨로지의 부분 순서 구조에서 유도된 장거리 삼중 관계 제약 조건을 통합하는 것.
• 전역적인 구조적 감독을 통해 Is-A 관계 예측의 일반화 및 일관성을 향상시키는 것.
• 통합된 학습 프레임워크에서 자유 텍스트 감독과 래티스 기반 제약 조건을 결합하는 효과를 평가하는 것.

제안 방법

• 순서 임베딩와 CBOW 기반 텍스트 임베딩를 가중치 조합된 손실 함수의 조합을 사용해 공동으로 학습한다: $ L_{\text{Joint}} = \alpha_1 L_{\text{Order}} + \alpha_2 L_{\text{CBOW}} $.
• ConceptNet과 MCG의 복합어 표현을 구성 요소 단어 임베딩의 평균으로 표현하여 처리한다.
• 온톨로지의 부분 순서에 대한 전이 폐쇄를 통해 추가 학습 예제를 생성하여 일반화 능력을 향상시킨다.
• 벡터 최대값(조인)과 최소값(미트)이 래티스 내에서의 최소 상위 경계와 최대 하위 경계를 근사하도록 하여 조인 및 미트 제약 조건을 도입한다.
• 조인 및 미트의 손실 함수를 정의한다: $ d_c = \| \max(0, w_1 \vee w_2 - w_c) \|^2 $ 및 $ d_p = \| \max(0, w_p - w_1 \wedge w_2) \|^2 $, 학습에 마진 기반 순위 손실을 적용한다.
• 모든 실험에서 50차원 임베딩을 사용하고 개발 세트에서 초모수를 튜닝하여 Adam 옵티마이저를 적용한다.

실험 결과

연구 질문

• RQ1 순서 임베딩와 비구조화된 텍스트의 공동 학습이 공공지 Is-A 관계 예측 성능 향상에 기여하는가?
• RQ2 온톨로지의 래티스 구조에서 유도된 장거리 삼중 관계 제약 조건을 통합하면 순서 임베딩의 일반화 능력이 향상되는가?
• RQ3 텍스트 감독과 래티스 제약 조건의 병합 효과가 정확도와 강건성 측면에서 기준 모델에 비해 어떻게 비교되는가?
• RQ4 순서 임베딩 프레임워크는 실제 지식 기반의 복잡한 다중어 엔티티와 부분 순서 구조를 효과적으로 처리할 수 있는가?

주요 결과

• 공동 순서 임베딩 및 CBOW 모델은 ConceptNet과 MCG의 Is-A 관계 데이터셋에서 93.0%의 정확도를 달성하여 기준 순서 임베딩 모델(92.0%)보다 1.0%p 높은 성능을 보였다.
• 작은 Data2 분할에서는 기준 OE 모델의 78.1%에서 공동 학습 모델이 80.4%로 향상되어 레이블이 적은 데이터에서도 일관된 성능 향상을 보였다.
• 조인 및 미트 제약 조건을 추가함으로써 순서 임베딩 모델의 WordNet 정확도는 90.6%에서 91.3%로 향상되었으며, 이는 전역적 구조적 감독의 이점임을 입증한다.
• 텍스트와 래티스 제약 조건을 모두 통합한 모델은 이중 분류기와 word2gauss와 같은 강력한 기준 모델을 능가하여 다중 소스 감독의 효과성을 보여준다.
• 레이블이 부족한 경우 텍스트 감독의 성과 향상은 특히 크며, 이는 비구조화된 텍스트가 소수 학습에 있어 유용한 인덕티브 바이어스를 제공한다는 것을 시사한다.
• 이 방법은 임베딩 공간의 내재 기하학적 특성을 효과적으로 활용하여 전이 및 래티스 기반 추론을 강제함으로써 일관되고 전역적으로 일관된 예측을 가능하게 하였다.