[논문 리뷰] Reasoning about Unmodelled Concepts - Incorporating Class Taxonomies in Probabilistic Relational Models

Daniel Nyga, Michael Beetz|arXiv (Cornell University)|2015. 04. 21.

Semantic Web and Ontologies참고 문헌 5인용 수 7

한 줄 요약

이 논문은 클래스 계층 구조에 대한 퍼지 추론을 통합함으로써 마르코프 논리 네트워크(Markov Logic Networks)를 확장하는 Fuzzy-MLNs 프레임워크를 제안한다. 이는 확률 분포의 압축 표현과 모델링되지 않은(외부 영역의) 개념에 대한 추론을 가능하게 한다. 의미적 유사도를 바탕으로 is-a 관계에 실수값 진리도를 할당함으로써 Fuzzy-MLNs는 희박한 학습 데이터로부터 효과적으로 일반화하며, 표준 MLNs보다 새로운 개념을 다룰 때 더 뛰어난 성능을 보인다.

ABSTRACT

A key problem in the application of first-order probabilistic methods is the enormous size of graphical models they imply. The size results from the possible worlds that can be generated by a domain of objects and relations. One of the reasons for this explosion is that so far the approaches do not sufficiently exploit the structure and similarity of possible worlds in order to encode the models more compactly. We propose fuzzy inference in Markov logic networks, which enables the use of taxonomic knowledge as a source of imposing structure onto possible worlds. We show that by exploiting this structure, probability distributions can be represented more compactly and that the reasoning systems become capable of reasoning about concepts not contained in the probabilistic knowledge base.

연구 동기 및 목표

• 모든 가능한 세계를 전수적으로 나열할 경우 모델 크기가 비가역적으로 커지는 문제를 해결하기 위해 일阶 확률 모델의 확장성과 압축성 문제를 다루는 것.
• 확률 지식 기반에 명시적으로 포함되지 않은 개념—즉, 외부 영역 추론(off-domain reasoning)에 대한 추론을 가능하게 하되, 모든 가능한 개념을 철저히 모델링할 필요 없이 수행하는 것.
• 기존의 계층 지식(예: WordNet)에서 유추된 의미적 유사도를 활용하여 희박한 학습 데이터로부터 일반화하고 학습 및 추론 복잡도를 감소시키는 것.
• 표준 MLN 공식화와의 호환성을 유지하면서도, 퍼지 진리도를 도입하여 모호하거나 불완전한 증거를 다룰 수 있는 민감한 메커니즘을 제공하는 것.
• 퍼지 추론이 데이터 희박성 하에서 실제 NLP 작업(예: 단어의 의미 해석 분리)에 대해 강건한 일반화를 가능하게 함을 입증하는 것.

제안 방법

• Fuzzy-MLNs는 표준 마르코프 논리 네트워크를 확장하여, 개념 간 의미적 유사도를 기반으로 실수값 진리도를 갖는 퍼지 진리도를 갖는 is-a 관계로 대체한다.
• 미리 정의된 계층 구조(예: WordNet)에서 유도된 의미적 유사도 측정 기반으로, 미지의 개념과 알려진 개념 간의 is-a 진술에 대한 진리도를 계산한다.
• 추론 과정에서 확률 분포는 학습 데이터에 포함된 알려진 개념에 조건화되며, 유사도 가중치를 적용한 추론을 통해 퍼지 계층 구조를 따라 증거를 전파함으로써 외부 영역의 개념을 추론한다.
• 프레임워크는 원래의 MLN 구조와 학습 절차를 유지하며, 논리 원소의 해석을 이진 진리도에서 점진적 진리도로 변경함으로써 유연성을 확보한다.
• 퍼지 추론은 학습 및 추론 단계 모두에 적용되어, 알려진 개념과 유사한 미지의 개념을 포함하는 가능한 세계에 대해 0이 아닌 확률을 할당할 수 있도록 한다.
• 이 방법은 외부의 고정된 계층 구조(예: WordNet)를 사실 지식으로 활용하며, 전체 계층을 확률 지식 기반에 모델링할 필요 없이도 된다.

실험 결과

연구 질문

• RQ1 계층 구조에서의 의미적 유사도를 활용하여, 훈련 데이터에 존재하지 않는 개념으로 확률적 관계 모델이 일반화할 수 있는가?
• RQ2 클래스 계층에 대한 퍼지 추론은 일阶 확률 모델의 압축성과 확장성에 어떻게 기여하는가?
• RQ3 의미적 유사도 기반의 퍼지 추론은 단어의 의미 해석 분리 작업에서 희박한 학습 데이터로부터 얼마나 잘 일반화하는가?
• RQ4 특히 훈련 데이터가 제한된 상황에서 Fuzzy-MLNs는 외부 영역의 개념을 다루는 추론 과제에서 표준 MLNs를 초월할 수 있는가?
• RQ5 is-a 관계에 실수값 진리도를 도입함으로써 이진 또는 딱딱한 제약 조건보다 추론의 강건성은 어떻게 향상되는가?

주요 결과

• Fuzzy-MLNs는 희박한 훈련 데이터에서 테스트 세트에 새로운 개념이 포함된 경우, 표준 MLNs보다 단어의 의미 해석 분리 작업에서 뚜렷한 성능 향상을 보였다.
• Fuzzy-MLNs의 성능 향상은 극도로 희박한 데이터 상황에서 가장 두드러지며, 이는 전통적인 MLNs가 새로운 개념에 대한 증거가 부족하여 완전히 실패할 수 있음을 시사한다.
• Fuzzy-MLNs는 계층 구조 내에서 알려진 개념과의 의미적 유사도를 활용하여 확률 지식 기반에 명시적으로 포함되지 않은 개념에 대해서도 의미 있는 추론을 가능하게 한다.
• 모델링된 개념은 훈련 데이터에 존재하는 개념들만 포함함으로써 압축된 모델 표현을 달성하면서도, 더 넓은 계층 구조에 대한 추론을 지원한다.
• Fuzzy-MLNs는 강력한 일반화 능력을 보이며, 훈련 데이터가 점점 더 희박해질수록 성능 향상이 관찰되어 개방형 세계 추론에서의 유용성을 확인한다.
• 이 방법은 알려진 개념에서 의미적으로 유사한 새로운 개념으로 지식을 성공적으로 전이하며, 인간의 인도적 추론 방식과 일치한다.