[논문 리뷰] Generating Commonsense Explanation by Extracting Bridge Concepts from Reasoning Paths

Haozhe Ji, Pei Ke외 3명|arXiv (Cornell University)|2020. 09. 24.

Topic Modeling참고 문헌 28인용 수 10

한 줄 요약

이 논문은 ConceptNet의 다중 힙 추론 경로에서 다리 개념을 추출한 후, 이를 사전에 fine-tuned된 언어 모델을 통해 설명 생성을 유도하는 이단계 프레임워크를 제안한다. 이 방법은 자동 평가 및 인간 평가에서 최신 기준 모델을 능가하며, 외부 지식에 근거한 추론을 통해 더 정보가 풍부하고 신뢰할 수 있는 설명을 생성한다.

ABSTRACT

Commonsense explanation generation aims to empower the machine's sense-making capability by generating plausible explanations to statements against commonsense. While this task is easy to human, the machine still struggles to generate reasonable and informative explanations. In this work, we propose a method that first extracts the underlying concepts which are served as extit{bridges} in the reasoning chain and then integrates these concepts to generate the final explanation. To facilitate the reasoning process, we utilize external commonsense knowledge to build the connection between a statement and the bridge concepts by extracting and pruning multi-hop paths to build a subgraph. We design a bridge concept extraction model that first scores the triples, routes the paths in the subgraph, and further selects bridge concepts with weak supervision at both the triple level and the concept level. We conduct experiments on the commonsense explanation generation task and our model outperforms the state-of-the-art baselines in both automatic and human evaluation.

연구 동기 및 목표

• 대통상적인 지식에 어긋나는 문장에 대해 정보가 풍부하고 신뢰할 수 있는 설명을 생성하는 데 도전한다.
• 신경망 시퀀스-투-시퀀스 모델이 단순하거나 정보가 없는 설명을 생성하는 데 기인한 한계를 극복한다.
• 대규모 지식 그래프에서의 외부 지식을 명시적으로 통합하여 통상 지식에 대한 충실도를 향상시킨다.
• 문장과 타당한 설명을 연결하는 의미 있는 다리 개념을 식별하고 추출한다.
• 구조화된 추론 경로와 약한 지도 학습 기반의 개념 선택을 통해 설명 생성을 향상시키는 프레임워크를 개발한다.

제안 방법

• 입력 문장의 소스 개념을 사용하여 ConceptNet에서 다중 힙 추론 경로를 검색하고, 커버리지 유지와 스케일 감소를 위해 히우리스틱적으로 경로를 정제한다.
• 맥락 정보와 그래프 인식 정보를 모두 활용하여 노드 표현을 융합하여 하위그래프 표현을 향상시킨다.
• 삼중항을 점수 매기고 경로를 따라 확률을 전파하며, 삼중항 수준과 개념 수준에서 약한 지도 학습을 활용해 핵심 개념을 선택하는 다리 개념 추출 모델을 설계한다.
• 사전에 학습된 언어 모델(예: GPT-2)을 사용하여 입력 문장과 추출된 다리 개념을 조건으로 하여 최종 설명을 생성한다.
• 경로 라우팅과 확률 전파를 적용하여 추론 체인에서 논리적 중개자 역할을 하는 가장 관련성이 높은 개념을 식별한다.
• 텍스트적 지식과 구조적 지식을 통합하여 의미적으로 기반을 두고 있으며 맥락에 적절한 설명을 유도한다.

실험 결과

연구 질문

• RQ1 어떻게 대통상적인 지식에 어긋나는 문장에 대해 정보가 풍부하고 통상 지식에 충실한 설명을 생성할 수 있는가?
• RQ2 다리 개념은 문장과 타당한 설명을 연결하는 데 어떤 역할을 하는가?
• RQ3 지식 그래프의 다중 힙 추론 경로에서 의미 있는 다리 개념을 효과적으로 추출할 수 있는가?
• RQ4 종단 간 시퀀스 생성 대비 약한 지도 학습 기반의 개념 선택이 생성된 설명의 품질을 향상시킬 수 있는가?
• RQ5 지식 그래프에서의 구조적 지식 통합이 순수 신경망 시퀀스 모델 대비 설명 생성에 어떻게 기여하는가?

주요 결과

• 모델은 자동 평가 및 인간 평가 지표에서 GPT-2를 포함한 모든 강력한 베이스라인을 능가한다.
• 인간 평가 결과에서 이성성과 정보성에서 유의미한 우월성이 입증되었으며(p-value < 0.005), 이성성에 대한 Fleiss’ kappa는 0.429, 정보성에 대한 것은 0.433이다.
• 모델은 페퍼민틴이 먹는 것보다 청소제로 기능하는 것으로 설명하는 등 더 새로운 관련 정보를 포함한 설명을 생성한다.
• 오류 분석 결과 단어 선택, 반복 또는 과도한 진술 방지에 지속적인 과제가 있으며, GPT-2와의 쌍 비교에서 100건 중 26건에서 실패를 보였다.
• 다중 힙 경로와 다리 개념 추출을 활용함으로써 모델은 더 논리적으로 기반을 두고 있으며 환각에 덜 취약한 설명을 생성할 수 있었다.
• 프레임워크는 '판매', '사용', '영화'와 같은 핵심 개념을 성공적으로 식별하고 활용하여 일관되고 맥락에 적절한 설명을 구성했다.