[논문 리뷰] TransOMCS: From Linguistic Graphs to Commonsense Knowledge

Hongming Zhang, Daniel Khashabi외 2명|arXiv (Cornell University)|2020. 05. 01.

Topic Modeling참고 문헌 23인용 수 4

한 줄 요약

이 논문은 패턴 매칭과 랭킹을 사용하여 언어적 그래프에서 고품질의 공통지식 지식을 추출하는 TransOMCS를 제안한다. 그 결과, OMCS보다 두 개의 지수 차수 더 큰 지식 그래프를 생성하였다. 이 방법은 ASER에서 유도된 언어 패턴을 ConceptNet 형식의 튜플로 전이함으로써, 하류 NLP 작업에서 뛰어난 커버리지와 신선도를 달성하면서도, 증가한 노이즈에도 불구하고 강력한 성능을 유지한다.

ABSTRACT

Commonsense knowledge acquisition is a key problem for artificial intelligence. Conventional methods of acquiring commonsense knowledge generally require laborious and costly human annotations, which are not feasible on a large scale. In this paper, we explore a practical way of mining commonsense knowledge from linguistic graphs, with the goal of transferring cheap knowledge obtained with linguistic patterns into expensive commonsense knowledge. The result is a conversion of ASER [Zhang et al., 2020], a large-scale selectional preference knowledge resource, into TransOMCS, of the same representation as ConceptNet [Liu and Singh, 2004] but two orders of magnitude larger. Experimental results demonstrate the transferability of linguistic knowledge to commonsense knowledge and the effectiveness of the proposed approach in terms of quantity, novelty, and quality. TransOMCS is publicly available at: https://github.com/HKUST-KnowComp/TransOMCS.

연구 동기 및 목표

• 기존의 공통지식 지식 확보 방식이 인위적인 인간의 주석에 의존하는 데 기인한 확장성의 한계를 해결하기 위해.
• 의존성 관계와 논의 관계에서 유도된 언어 패턴이 고품질의 공통지식 지식으로 전이 가능한지 탐색하기 위해.
• ConceptNet/OMCS 형식의 대규모 공통지식 지식 그래프를 구축하여 커버리지와 신선도를 향상시키기 위해.
• 추출된 지식의 효과성을 내재적 및 외재적 NLP 작업에서 평가하기 위해.

제안 방법

• 이 방법은 ConceptNet 5.5의 일부를 시드 공통지식 지식 세트로 사용하고, ASER의 언어적 그래프를 활용하여 중복되는 용어와 관계를 식별한다.
• 각 시드 튜플 (h, r, t)에 대해 h와 t를 포함하는 지원 언어적 그래프를 선별하고, 그들의 구조적 관계에서 언어 패턴을 추출한다.
• 일치하는 공통지식 사실과 언어 일관성에 기반하여 고정밀도 패턴을 선택하는 패턴 필터링 모듈을 운영한다.
• 추출된 공통지식 튜플의 품질을 평가하고 점수를 매기기 위해 분류 기반 랭킹 모델을 적용하여 저품질 또는 불완전한 진술을 걸러낸다.
• 최종적으로 TransOMCS 지식 세트는 OMCS와 동일한 형식으로 구성되며, 200만 개 이상의 간선을 포함한다.
• 프레임워크는 의존성 구문 분석과 논의 연결어를 활용하여 원시 텍스트에서 3790만 개의 사건과 1000만 개의 논의 관계를 추출한다.

실험 결과

연구 질문

• RQ1 의존성 관계와 논의 관계에서 유도된 언어 패턴이 공통지식 지식을 효과적으로 유추하는 데 사용될 수 있는가?
• RQ2 언어 지식의 전이가 공통지식 지식 자원의 규모와 신선도를 얼마나 향상시킬 수 있는가?
• RQ3 TransOMCS의 품질과 커버리지가 OMCS, COMET, LAMA와 같은 기존 자원과 비교해 어떻게 되는가?
• RQ4 TransOMCS의 포함이 하류 NLP 작업에서 성능 향상에 뚜렷한 기여를 하는가?

주요 결과

• TransOMCS는 200만 개 이상의 간선을 포함하며, 원래의 OMCS(60만 개 간선)보다 두 개의 지수 차수 더 크다.
• 대화 생성 작업에서 TransOMCS는 예시당 평균 3.36개의 지원 튜플을 기여하는 반면, OMCS는 1.46개에 그치며, 이는 훨씬 더 높은 커버리지와 신선도를 의미한다.
• 공통지식 독해 이해 테스트에서 TransOMCS는 상위 1% 지식을 사용할 경우 0.37의 정확도 향상을 기록했으며, OMCS(0.21)와 COMET, LAMA와 같은 다른 방법들을 능가한다.
• TransOMCS를 사용한 대화 생성 모델은 더 높은 BLEU 점수를 달성하지만, COMET이나 LAMA를 추가해도 유의미한 향상이 없어, TransOMCS가 더 가치 있는 새로운 지식을 제공하고 있음을 시사한다.
• TransOMCS는 '인간'이 '생명을 창조할 수 있다'와 같은 다중 토큰 개념과 새로운 지식을 생성할 수 있으며, 다른 모델은 이를 생성하지 못한다.
• OMCS보다 노이즈가 더 많지만, 규모와 커버리지 덕분에 하류 작업에서 강력한 유용성을 보이며, 언어 패턴이 공통지식 지식으로 전이될 수 있음을 입증한다.