[논문 리뷰] Implicit ReasoNet: Modeling Large-Scale Structured Relationships with Shared Memory

Yelong Shen, Po-Sen Huang외 2명|arXiv (Cornell University)|2017. 04. 24.

Topic Modeling참고 문헌 28인용 수 12

한 줄 요약

이 논문은 공유 메모리와 검색 컨트롤러를 통해 암시적 다단계 추론을 수행함으로써 대규모 지식 기반 보완을 가능하게 하는 새로운 프레임워크인 은유적 추론 네트워크(Implicit ReasoNets, IRNs)를 소개한다. 이는 모델과 함께 공동으로 훈련된다. 기존의 관측된 인스턴스에 직접 작용하는 방법들과는 달리, IRNs는 메모리 증강 추론을 통해 관계를 추론하도록 학습하며, 이로 인해 기존 방법들 대비 5.7% 향상된 성능을 보이며 FB15k에서 새로운 최고 성능을 기록한다.

ABSTRACT

Recent studies on knowledge base completion, the task of recovering missing relationships based on recorded relations, demonstrate the importance of learning embeddings from multi-step relations. However, due to the size of knowledge bases, learning multi-step relations directly on top of observed instances could be costly. In this paper, we propose Implicit ReasoNets (IRNs), which is designed to perform large-scale inference implicitly through a search controller and shared memory. Unlike previous work, IRNs use training data to learn to perform multi-step inference through the shared memory, which is also jointly updated during training. While the inference procedure is not operating on top of observed instances for IRNs, our proposed model outperforms all previous approaches on the popular FB15k benchmark by more than 5.7%.

연구 동기 및 목표

• 대규모 지식 기반에서 다단계 관계 학습의 계산 비용을 해결하기 위해.
• 관측된 인스턴스에 직접 작용하지 않는 효율적이고 확장 가능한 추론을 가능하게 하기 위해.
• 구조적 관계에 대한 암시적 추론을 위해 검색 컨트롤러와 공유 메모리를 공동으로 훈련하기 위해.
• 표준 벤치마크인 FB15k와 같은 곳에서 지식 기반 보완 성능을 향상시키기 위해.

제안 방법

• IRNs는 훈련 중 관계 패턴의 표현을 저장하고 업데이트하는 공유 메모리 모듈을 사용한다.
• 검색 컨트롤러는 명시적 경로 열거 없이도 다단계 추론을 시뮬레이션하기 위해 메모리 연산을 동적으로 선택한다.
• 모델은 관측된 삼중항을 기반으로 학습함으로써 컨트롤러와 메모리를 함께 업데이트함으로써 암시적 추론을 수행한다.
• 추론 과정에서 관측된 인스턴스에 직접 계산을 수행하지 않아 계산 오버헤드를 줄인다.
• 명시적 경로 탐색 대신 메모리 상호작용을 통해 암시적으로 다단계 추론을 모델링한다.
• 훈련 데이터는 공유 메모리와 컨트롤러를 통해 추론 패턴 학습을 감독한다.

실험 결과

연구 질문

• RQ1 공유 메모리를 통한 암시적 추론은 지식 기반 보완의 확장성에 향상 효과를 줄 수 있는가?
• RQ2 검색 컨트롤러와 메모리를 공동으로 훈련하는 것이 대규모 지식 기반에서 성능에 어떤 영향을 미치는가?
• RQ3 추론 시 관측된 인스턴스에 직접 작용하지 않는 모델이 명시적 경로 기반 방법을 능가할 수 있는가?
• RQ4 메모리 증강 추론이 복잡한 다단계 관계 패턴 전반에 걸쳐 얼마나 일반화되는가?

주요 결과

• IRNs는 FB15k 벤치마크에서 모든 이전 방법들을 능가하는 새로운 최고 성능을 기록한다.
• IRNs는 FB15k 데이터셋에서 이전 방법들 대비 5.7% 이상 성능 향상을 달성한다.
• 암시적 추론 메커니즘이 관측된 인스턴스에 직접 계산을 수행하지 않아도 확장 가능한 추론을 가능하게 한다.
• 검색 컨트롤러와 공유 메모리의 공동 훈련은 더 효과적인 다단계 추론 패턴을 이끈다.
• 효율적인 메모리 활용 덕분에 대규모 지식 기반에서 강력한 일반화 성능을 보여준다.
• 결과적으로 메모리 증강 추론이 정확도와 확장성 면에서 명시적 경로 기반 방법을 능가할 수 있음을 확인한다.