[논문 리뷰] Probabilistic Reasoning via Deep Learning: Neural Association Models

Quan Liu, Hui Jiang외 5명|arXiv (Cornell University)|2016. 03. 24.

Bayesian Modeling and Causal Inference참고 문헌 34인용 수 79

한 줄 요약

이 논문은 확률적 추론을 위한 딥러닝 프레임워크인 신경 연관 모델(Neural Association Models, NAM)을 소개한다. 이는 사건 간 조건부 확률을 모델링하기 위해 신경망을 사용한다. DNN 및 관계 조절 신경망(Relation-Modulated Neural Nets, RMNN)이라는 두 가지 아키텍처를 제안하며, 텍스트 추론, 지식 기반 삼항관계 분류, 윈오그라드 스키마 과제에서 기존 방법들을 능가한다. 특히 RMNN는 소수의 샘플로도 뛰어난 지식 전이 능력을 보였다.

ABSTRACT

In this paper, we propose a new deep learning approach, called neural association model (NAM), for probabilistic reasoning in artificial intelligence. We propose to use neural networks to model association between any two events in a domain. Neural networks take one event as input and compute a conditional probability of the other event to model how likely these two events are to be associated. The actual meaning of the conditional probabilities varies between applications and depends on how the models are trained. In this work, as two case studies, we have investigated two NAM structures, namely deep neural networks (DNN) and relation-modulated neural nets (RMNN), on several probabilistic reasoning tasks in AI, including recognizing textual entailment, triple classification in multi-relational knowledge bases and commonsense reasoning. Experimental results on several popular datasets derived from WordNet, FreeBase and ConceptNet have all demonstrated that both DNNs and RMNNs perform equally well and they can significantly outperform the conventional methods available for these reasoning tasks. Moreover, compared with DNNs, RMNNs are superior in knowledge transfer, where a pre-trained model can be quickly extended to an unseen relation after observing only a few training samples. To further prove the effectiveness of the proposed models, in this work, we have applied NAMs to solving challenging Winograd Schema (WS) problems. Experiments conducted on a set of WS problems prove that the proposed models have the potential for commonsense reasoning.

연구 동기 및 목표

• 베이지안 네트워크와 같은 전통적인 확률적 추론 모델의 한계를 해결하기 위해, 사건 공간이 클 경우 계산이 비현실적이 되는 문제를 해결한다.
• 딥 뉴럴 네트워크를 사용하여 사건 간 의미적 연관성을 모델링함으로써 인공지능에서 효과적인 공통된 추론을 가능하게 한다.
• 소수의 샘플로도 빠르게 새로운 관계에 적응할 수 있도록 설계된 모델 아키텍처를 통해 소수 학습 시나리오에서의 지식 전이를 향상시킨다.
• 특히 윈오그라드 스키마 챌린지와 같은 도전적인 공통된 추론 벤치마크에서 NAM의 효과성을 평가한다.
• 실세계 언어적 연관성을 지원하기 위해 비정형 텍스트에서 고품질의 원인-결과 쌍을 자동으로 수집할 수 있는 확장 가능한 방법을 개발한다.

제안 방법

• 사건을 저차원 연속 벡터로 표현하여 의미적 유사도를 포착하고 일반화 능력을 향상시킨다.
• 입력 사건 E1과 출력 사건 E2 사이의 조건부 확률 P(E2|E1)을 예측하기 위해 딥 뉴럴 네트워크(DNN)와 관계 조절 신경망(RMNN)을 훈련시킨다.
• 부정 샘플링 전략을 적용한다: TransMat-NAM의 경우 문법 패턴을 변경함으로써(예: 어순 또는 긍정/부정성 변화) 부정 샘플을 생성하고, RelationVec-NAM의 경우 다른 영향 사건을 무작위로 샘플링한다.
• 사전 훈련된 단어 임베딩을 활용하고, WordNet, FreeBase, ConceptNet에서 유도된 데이터셋을 포함한 작업 전용 데이터셋에서 모델을 미세조정한다.
• 윈오그라드 스키마 문제에 NAM 프레임워크를 적용하여, 예를 들어 '통화' → '성공하지 못함' 또는 '화가 나다' → '소리치다'와 같은 사건 연관성을 학습된 확률 점수로 모델링한다.
• 일반적인 동사와 형용사의 어휘를 사용하여 비정형 텍스트에서 자동으로 추출한 대규모 원인-결과 쌍 데이터셋을 기반으로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 확률적 추론 과제를 위해 사건 간 조건부 연관 확률을 효과적으로 모델링할 수 있는가?
• RQ2 DNN와 RMNN 아키텍처는 다양한 추론 벤치마크에서 성능 및 일반화 능력 측면에서 어떻게 비교되는가?
• RQ3 제안된 NAM 프레임워크는 소수의 레이블 예시로도 효과적인 소수 학습 지식 전이를 달성할 수 있는가? 즉, 새로운 관계에 대해 빠르게 적응할 수 있는가?
• RQ4 NAM는 윈오그라드 스키마 챌린지와 같은 복잡한 공통된 추론 문제를 어느 정도 해결할 수 있는가?
• RQ5 비정형 텍스트에서 고품질의 원인-결과 쌍을 자동으로 수집하는 것은 실현 가능한가?

주요 결과

• DNN 및 RMNN 아키텍처를 모두 활용한 NAM 프레임워크는 텍스트 추론, 다중관계 지식 기반 삼항관계 분류, 공통된 추론 과제에서 기존 방법들을 뛰어넘는 성능을 보였다.
• 윈오그라드 스키마 원인-결과 데이터셋에서, RelationVec-NAM 시스템은 61.4%의 정확도(70개 예제 중 43개)를 기록했고, TransMat-NAM는 58.6%의 정확도를 기록했다.
• RMNN 모델은 지식 전이 성능에서 뛰어난 성능을 보였으며, 원래의 관계에서 성능 저하 없이도 소수의 훈련 샘플만으로도 새로운 관계에 신속히 적응할 수 있었다.
• 모델은 인간의 추론과 일치하는 직관적인 공통된 추론 관계를 성공적으로 포착했다. 예를 들어, '통화'가 주어졌을 때 '성공하지 못함'일 확률이 '불려짐'일 확률보다 높았다.
• 전화 걸기 시나리오에서, 모델는 P(성공하지 못함|통화) = 0.7299이 P(성공하지 못함|불려짐) = 0.5430보다 높다는 점을 바탕으로 폴이 성공하지 못했다고 정확히 식별했다.
• 감정적 원인-결과 관계의 경우, P(소리치다|화가 나다) = 0.9296이 P(소리치지 않음|화가 나다) = 0.8785보다 높다는 점을 바탕으로, 모델은 다른 시나리오에서 킴이 위로받는 사람임을 정확히 식별했다.