[논문 리뷰] Generating Negative Commonsense Knowledge.

Tara Safavi, Danai Koutra|arXiv (Cornell University)|2020. 11. 15.

Topic Modeling참고 문헌 7인용 수 7

한 줄 요약

이 논문은 지식 기반 보완을 위해 음성 공리적 지식을 생성하는 프레임워크인 NegatER을 제안하며, 지식 보완 작업을 위한 의미 있는 음성 예제를 확보하는 데 도전하는 문제를 다룹니다. 실증 평가를 통해 NegatER은 내재적으로 가치 있고 외재적으로 유용한 음성 문장을 생성하여, 후속 추론과 지식 기반 보완을 향상시킵니다.

ABSTRACT

The acquisition of commonsense knowledge is an important open challenge in artificial intelligence. In this work-in-progress paper, we study the task of automatically augmenting commonsense knowledge bases (KBs) with novel statements. We show empirically that obtaining meaningful negative samples for the completion task is nontrivial, and propose NegatER, a framework for generating negative commonsense knowledge, to address this challenge. In our evaluation we demonstrate the intrinsic value and extrinsic utility of the knowledge generated by NegatER, opening up new avenues for future research in this direction.

연구 동기 및 목표

• 공리적 지식 기반(KB) 보완을 위한 의미 있는 음성 샘플을 확보하는 열린 과제를 해결한다.
• 의미적으로 타당하고 정보가 풍부한 음성 문장을 생성하는 데 있어 비현실적인 어려움을 극복한다.
• 지식 기반 보강을 위한 새로운 음성 공리적 지식을 자동으로 생성하는 체계적인 방법을 개발한다.
• 후속 작업에서 생성된 음성 지식의 내재적 품질과 외재적 유용성을 입증한다.

제안 방법

• 긍성 지식 항목을 반전하거나 대조시켜 음성 공리적 문장을 생성하는 프레임워크인 NegatER을 설계한다.
• 기존의 공리적 지식 기반을 긍정적 사실의 원천으로 활용하여 타당한 음성 대응 문장을 유도한다.
• 생성된 음성 문장의 의미 일관성과 관련성을 보장하기 위해 언어학적 및 논리적 변환을 적용한다.
• 다양하고 현실적인 음성 문장을 생성하기 위해 템플릿 기반 및 신경 기반 생성 기법의 조합을 사용한다.
• 생성된 음성 문장이 알려진 긍정적 사실과 사실적으로 모순되면서도 문법적으로 및 맥락적으로 타당한지 확보한다.
• 내재적 및 외재적 평가 프로토콜을 통해 생성된 음성 문장의 품질을 평가한다.

실험 결과

연구 질문

• RQ1 기존의 긍정적 지식을 보완하기 위해 의미 있는 음성 공리적 문장을 체계적으로 생성하는 방법은 무엇인가?
• RQ2 의미적으로 타당하고 알려진 사실과 사실적으로 모순되는 높은 품질의 음성 샘플을 생성하는 데 어떤 기법이 효과적인가?
• RQ3 생성된 음성 문장은 후속 지식 보완 작업의 성능을 어느 정도 향상시키는가?
• RQ4 생성된 음성 지식의 내재적 품질은 인간이 애너테이션한 음성 문장과 비교해 어떻게 되는가?

주요 결과

• 의미 있는 음성 공리적 지식을 생성하는 것은 단순한 데이터 증강을 넘어서 전용 기법이 필요한 비현실적인 과제이다.
• NegatER은 긍정적 사실과 사실적으로 모순되면서도 의미적으로 일관된 음성 문장을 성공적으로 생성한다.
• 품질 평가 지표를 통해 평가된 결과, 생성된 음성 지식은 내재적 가치를 지닌다.
• 지식 보완 모델의 성능 향상으로 이어지는 것으로 나타나, 음성 문장은 외재적 유용성을 보였다.
• 실증 평가를 통해 NegatER이 지식 기반 추론 시스템의 강건성과 일반화 능력을 향상시킨다는 것이 확인되었다.
• 이 프레임워크는 AI 시스템에 음성 지식을 통합함으로써 향상된 추론 능력과 신뢰성을 확보하기 위한 새로운 연구 방향을 열어 놓았다.