[논문 리뷰] CO-NNECT: A Framework for Revealing Commonsense Knowledge Paths as Explicitations of Implicit Knowledge in Texts

Maria Becker, Katharina Korfhage외 2명|arXiv (Cornell University)|2021. 05. 07.

Topic Modeling참고 문헌 26인용 수 5

한 줄 요약

CO-NNECT는 ConceptNet으로 미세튜닝된 관계 분류 및 대상 예측 모델을 조합하여 문장 간 은닉된 지식을 드러내는 고품질의 명시적 공지지식 경로(단일 및 다단계)를 생성하는 동적 프레임워크를 제안한다. 이 방법은 정적 지식 그래프에 비해 더 관련성 있고 해석 가능하며 맥락적으로 의미 있는 경로를 생성함으로써, 논쟁적 데이터셋에서 수작업 및 자동 평가를 통해 검증되었다.

ABSTRACT

In this work we leverage commonsense knowledge in form of knowledge paths to establish connections between sentences, as a form of explicitation of implicit knowledge. Such connections can be direct (singlehop paths) or require intermediate concepts (multihop paths). To construct such paths we combine two model types in a joint framework we call Co-nnect: a relation classifier that predicts direct connections between concepts; and a target prediction model that generates target or intermediate concepts given a source concept and a relation, which we use to construct multihop paths. Unlike prior work that relies exclusively on static knowledge sources, we leverage language models finetuned on knowledge stored in ConceptNet, to dynamically generate knowledge paths, as explanations of implicit knowledge that connects sentences in texts. As a central contribution we design manual and automatic evaluation settings for assessing the quality of the generated paths. We conduct evaluations on two argumentative datasets and show that a combination of the two model types generates meaningful, high-quality knowledge paths between sentences that reveal implicit knowledge conveyed in text.

연구 동기 및 목표

• 자연어 처리에서 공지지식 경로에 대한 체계적인 평가 부족, 특히 문장 간 은닉 지식을 명시화하는 데 초점을 맞춘다.
• 관계 분류의 정밀도와 대상 예측의 생성 능력을 조합하여 의미 있는 지식 경로를 구성하는 프레임워크를 개발한다.
• 하류 작업 성능을 넘어서 수작업 애너테이션과 기준 지식 애너테이션 대비 자동 지표를 사용하여 경로 품질을 평가한다.
• 미세튜닝된 언어 모델에서 유도된 동적 경로가 정적 지식 그래프보다 은닉된 텍스트 연결을 더 관련성 있고 구체적으로 포착하는 데 뛰어나다는 것을 입증한다.

제안 방법

• 프레임워크는 두 가지 모델 유형을 통합한다: ConceptNet으로 미세튜닝된 다중 레이블 관계 분류기인 COREC-LM은 개념 간 직접(단일단계) 관계를 예측한다.
• COMET은 사전 훈련된 트랜스포머 모델로, 소스 개념과 관계가 주어지면 중간 또는 목표 개념을 생성하여 전방 체인을 통한 다단계 경로 구축을 가능하게 한다.
• 지식 경로는 추론 시점에 동적으로 생성되며, 사전에 저장된 삼중항에 의존하지 않고 정적 ConceptNet을 초월한 일반화를 가능하게 한다.
• 프레임워크는 공동 추론을 사용한다: 관계 분류가 직접 연결을 식별하고, 대상 예측이 중간 노드를 통해 경로를 연장한다.
• 평가에서는 경로의 관련성에 대한 수작업 애너테이션과 기준 지식 애너테이션과의 유사도 지표(코시움, 베르트 스코어)를 사용한 자동 평가를 수행한다.
• 정적 ConceptNet 경로를 사용한 베이스라인과 비교하여 동적이고 맥락 인식 경로 생성의 우수성을 입증한다.

실험 결과

연구 질문

• RQ1 관계 분류와 대상 예측을 조합한 공동 프레임워크가 정적 지식 소스보다 더 의미 있고 관련성 있는 공지지식 경로를 생성할 수 있는가?
• RQ2 동적으로 생성된 지식 경로는 은닉 지식의 기준 애너테이션과 관련성과 의미적 유사도 측면에서 어떻게 비교되는가?
• RQ3 코시움과 베르트 스코어와 같은 자동 평가 지표가 경로 품질 및 관련성에 대한 인간 평가와 얼마나 상관이 있는가?
• RQ4 ConceptNet에 기반한 미세튜닝된 언어 모델을 사용할 경우, 순수하게 검색 기반 또는 정적 지식 그래프 접근 방식보다 경로 품질이 향상되는가?
• RQ5 이 프레임워크는 논증적 텍스트에서 문장 간 은닉 연결을 명시적으로 드러내는 해석 가능하고 맥락에 적절한 다단계 경로를 생성할 수 있는가?

주요 결과

• COREC-LM와 COMET을 조합한 CO-NNECT는 인간 애너테이션 기반 은닉 지식과 가장 잘 일치하는 지식 경로 생성 성능를 기록하며, 개별 모델과 정적 ConceptNet 베이스라인을 모두 압도한다.
• IKAT 데이터셋(b 설정)에서 코시움/F1 점수는 .70, 베르트 스코어/F1 점수는 .81을 기록하여 기준 지식 설명과 강한 일치를 보였다.
• 수작업 평가 결과, 코시움과 베르트 스코어와 같은 자동 지표가 항상 인간의 관련성 평가와 상관되지 않는다는 점이 드러나, 자동 평가에만 의존할 경우의 한계를 보여주었다.
• 정적 ConceptNet 경로는 관계 교체 후에도 여전히 모호한 관계 비율이 높아(예: IKAT에서 56.6% RelatedTo) 노이즈가 많고 해석이 어려운 연결을 유발한다.
• COREC-LM와 COMET의 조합은 개별 모델보다 더 높은 품질의 경로를 생성하며, 정밀도(직접 관계)와 다단계 추론의 유연성이라는 상보적 강점을 입증하였다.
• 생성된 경로는 수작업 애너테이션에서 높은 관련성 평가를 받으며 은닉 지식의 효과적인 명시화로 기능하며, 공지지식 제약 조건을 포함한 논증 분류 및 언어 생성 등의 하류 작업에 적합하다.