[논문 리뷰] Joint Reasoning for Multi-Faceted Commonsense Knowledge

Yohan Chalier, Simon Razniewski외 1명|arXiv (Cornell University)|2020. 01. 13.

Semantic Web and Ontologies참고 문헌 40인용 수 14

한 줄 요약

이 논문은 공통 지식(commonsense knowledge, CSK)을 향상시키기 위해 네 가지 의미적 특성—합리성, 일반성, 놀랍기 정도, 두드러짐 정도—를 정수선형계획법(Integer Linear Program, ILP)에서 소프트 제약 조건을 통해 모델링하는 공동 추론 프레임워크 Dice를 제안한다. 선형계획법(LP)의 완화와 감소비용 이론을 활용하여 이들 차원에 걸쳐 정보가 풍부하고 백분위수 정규화된 순위를 계산함으로써, 단일 차원 기반 모델 대비 표현력과 품질을 크게 향상시켰으며, 원래 CSK 데이터의 50% 확장과 평균 0.66의 ppref를 확보하였다.

ABSTRACT

Commonsense knowledge (CSK) supports a variety of AI applications, from visual understanding to chatbots. Prior works on acquiring CSK, such as ConceptNet, have compiled statements that associate concepts, like everyday objects or activities, with properties that hold for most or some instances of the concept. Each concept is treated in isolation from other concepts, and the only quantitative measure (or ranking) of properties is a confidence score that the statement is valid. This paper aims to overcome these limitations by introducing a multi-faceted model of CSK statements and methods for joint reasoning over sets of inter-related statements. Our model captures four different dimensions of CSK statements: plausibility, typicality, remarkability and salience, with scoring and ranking along each dimension. For example, hyenas drinking water is typical but not salient, whereas hyenas eating carcasses is salient. For reasoning and ranking, we develop a method with soft constraints, to couple the inference over concepts that are related in in a taxonomic hierarchy. The reasoning is cast into an integer linear programming (ILP), and we leverage the theory of reduction costs of a relaxed LP to compute informative rankings. This methodology is applied to several large CSK collections. Our evaluation shows that we can consolidate these inputs into much cleaner and more expressive knowledge. Results are available at https://dice.mpi-inf.mpg.de.

연구 동기 및 목표

• 기존 공통 지식 기반의 한계를 해결하기 위해, 문장을 고립적으로 다루고 신뢰도 점수에만 의존하는 방식을 개선하고, 개념-속성 문장에 대한 더 풍부한 다차원 표현을 도입한다.
• 합리성, 일반성, 놀랍기 정도, 두드러짐 정도의 네 가지 구분 가능한 의미적 차원을 모델링하여, 인간이 어떤 개념에 대해 무엇이 타당하고, 일반적이며, 독특하거나 기억에 남는지를 반영한다.
• 분류계층과 단어 임베딩을 통해 상호연관된 개념들에 대해 공동 추론을 가능하게 하여, 관련 개념들 간의 맥락 기반 추론을 허용한다.
• 정수선형계획법(ILP)과 감소비용 분석을 활용하여 각 차원에 대해 정량적이고 정규화된 순위를 계산하는 확장 가능하고 원칙적인 방법을 개발한다.
• ConceptNet, TupleKB, Quasimodo와 같은 기존 수집자료를 다차원 점수와 추론된 문장을 포함하여 확장하고 정제하여 고품질의 CSK 데이터셋을 생산한다.

제안 방법

• 프레임워크는 공통 지식 문장의 네 가지 차원을 모델링한다: 합리성(논리적 일관성), 일반성(다양한 사례에서의 퍼지기), 놀랍기 정도(형제 개념들과의 차별성), 두드러짐 정도(인간의 자발적 연관성).
• 분류계층과 단어 수준의 임베딩(e.g., word2vec, GloVe)을 통해 상호연관된 개념을 식별하고, 공동 추론을 위한 이웃 영역을 형성한다.
• 유사한 문장들 간의 추론을 결합하기 위해 소프트 제약 조건을 정의한다. 예를 들어, 어떤 속성이 개념에 대해 타당하지만 그 형제 개념에선 그렇지 않다면, 그 속성은 놀랍기 정도로 간주될 수 있다.
• 추론 작업은 변수가 각 특성 점수이고 제약 조건이 문장과 개념 간의 논리적 관계를 표현하는 정수선형계획법(ILP)으로 설정된다.
• LP의 완화에서 유도된 감소비용(기회비용)을 사용하여 각 특성에 대해 정보가 풍부하고 정규화된 순위를 계산함으로써, 다양한 문장 간 비교 평가가 가능해진다.
• 소스 CSK의 사전 점수와 관련 개념의 증거를 통합하고, 제약 조건에 대해 학습된 가중치를 도입하여 인간이 애너테이션한 벤치마크에서 성능을 최적화한다.

실험 결과

연구 질문

• RQ1 단순한 신뢰도 점수를 넘어서 다차원적 표현을 갖춘 공통 지식 모델이 인간의 개념 속성에 대한 직관을 더 잘 반영할 수 있는가?
• RQ2 분류계 또는 임베딩 공간 내의 상호연관된 개념들을 공동으로 추론함으로써 공통 지식 문장의 품질과 표현력은 어떻게 향상될 수 있는가?
• RQ3 LP의 완화에서 유도된 감소비용이 공통 지식의 다수 의미적 특성에 대해 의미 있는 정규화된 순위를 제공할 수 있는가?
• RQ4 소프트 제약 조건을 통한 공동 추론이 인간이 애너테이션한 순위 평가에서 고립된 점수 또는 사전 기반 방법에 비해 예측 성능 측면에서 어떻게 비교되는가?
• RQ5 이 프레임워크는 일관성과 표현력을 유지하면서도 기존 CSK 수집자료에 새로운 고품질의 문장과 다차원 점수를 추가하여 풍부화시킬 수 있는가?

주요 결과

• Dice는 인간이 애너테이션한 순위 평가에서 평균 쌍별 정밀도(pprec) 0.66을 기록하여, 단지 사전 점수만을 사용하는 기준 모델(0.58)과 공동 추론만을 사용하는 기준 모델(0.51)보다 뚜렷이 뛰어난 성능을 보였다.
• 네 차원 모델은 미묘한 차이를 잘 포착했다. 예를 들어, 뱀에 대해 'be at shed'는 'be at pet zoo'보다 더 일반적인 것으로 평가되었지만, 후자는 더 두드러진 것으로 평가되었다.
• 합리성은 평가 결과에서 성능이 낮아 모델링이 가장 어려운 차원임을 시사하였으며, 더 정교한 입력 신호가 필요함을 시사한다.
• 제약 조건 학습 결과, 유사도 의존성과 합리성 추론이 최종 순위에 가장 큰 영향을 미쳤으며, 개념 간 상호관계의 중요성을 확인하였다.
• 추론을 통해 원래 CSK 수집자료를 약 50% 확장하여 다차원 점수를 포함한 풍부한 데이터셋을 생성하였으며, 이를 공개적으로 다운로드 가능하게 하였다.
• https://dice.mpi-inf.mpg.de에 위치한 웹 데모는 문장, 각 특성 점수, 이웃 맥락, 그리고 가중치가 부여된 ILP 절차를 상호작용적으로 탐색할 수 있도록 한다.