[논문 리뷰] Lexically-constrained Text Generation through Commonsense Knowledge Extraction and Injection

Yikang Li, Pulkit Goel외 6명|arXiv (Cornell University)|2020. 12. 19.

Topic Modeling참고 문헌 30인용 수 6

한 줄 요약

이 논문은 주어진 어휘 제약 조건 하에서 의미적으로 타당하고 일반 지식에 부합하는 텍스트 생성을 향상시키기 위해, Attention 기반 메커니즘을 통해 유니티드 랭귀지 모델(UniLM)에 ConceptNet의 일반 지식을 통합하고, 수정된 비트 서치를 통해 어휘 제약 조건을 강제하는 방법을 제안한다. 이 방법은 의미적 정확도와 개념 커버리지 모두를 크게 향상시켜, 개념 누락률을 최대 15%까지 감소시키며 인간의 일반 지식과의 일치도를 향상시킨다.

ABSTRACT

Conditional text generation has been a challenging task that is yet to see human-level performance from state-of-the-art models. In this work, we specifically focus on the Commongen benchmark, wherein the aim is to generate a plausible sentence for a given set of input concepts. Despite advances in other tasks, large pre-trained language models that are fine-tuned on this dataset often produce sentences that are syntactically correct but qualitatively deviate from a human understanding of common sense. Furthermore, generated sequences are unable to fulfill such lexical requirements as matching part-of-speech and full concept coverage. In this paper, we explore how commonsense knowledge graphs can enhance model performance, with respect to commonsense reasoning and lexically-constrained decoding. We propose strategies for enhancing the semantic correctness of the generated text, which we accomplish through: extracting commonsense relations from Conceptnet, injecting these relations into the Unified Language Model (UniLM) through attention mechanisms, and enforcing the aforementioned lexical requirements through output constraints. By performing several ablations, we find that commonsense injection enables the generation of sentences that are more aligned with human understanding, while remaining compliant with lexical requirements.

연구 동기 및 목표

• 어휘 제약 조건 하에서 사전 학습된 언어 모델이 의미적으로 타당하고 일반 지식에 부합하는 문장을 생성하지 못하는 문제를 해결한다.
• CommonGen과 같은 텍스트 생성 과제에서 개념 커버리지 및 품사 품질(POS) 정확도의 한계를 극복한다.
• 외부 일반 지식인 ConceptNet에서의 지식을 언어 모델 아키텍처에 통합함으로써 모델 성능을 향상시킨다.
• 제약 조건이 있는 디코딩 전략을 통해 생성된 문장이 입력된 모든 개념을 정확한 품사 태그와 함께 엄격히 포함하도록 보장한다.

제안 방법

• ConceptNet에서 입력된 개념 간의 일반 지식 관계를 추출하고, 빈도가 높고 품사가 일치하는 관계를 우선순위로 정한다.
• 추출된 관계를 Attention 기반 메커니즘을 사용해 UniLM에 통합하여, 특히 초기 레이어에서 문맥 표현을 풍부하게 한다.
• 후보 시퀀스를 생성 가능성과 어휘 제약 조건 준수 정도를 기반으로 평가하는 수정된 비트 서치 알고리즘을 구현한다.
• Best-N 비트 스코어링을 적용하여 어휘가 풍부하고 길이가 긴 시퀀스를 선호하면서도 어울림이나 일관성은 유지한다.
• 무관하거나 노이즈가 많은 확장 개념을 걸러내는 지식 선택 전략을 사용하여 생성 과정 중 간섭을 줄인다.
• 지식 통합 및 디코딩 과정 전반에 품사 태깅을 통합하여 생성된 토큰의 문법적 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 ConceptNet의 일반 지식을 주입함으로써 어휘 제약 조건 하에서의 텍스트 생성의 의미적 타당성을 향상시킬 수 있는가?
• RQ2 Attention 기반 지식 통합 방식은 비-Attention 방식에 비해 생성 품질 향상에 얼마나 효과적인가?
• RQ3 제약 조건이 있는 비트 서치 디코딩은 개념 누락률과 개념 반복률을 얼마나 줄일 수 있는가?
• RQ4 ConceptNet에서 빈도가 높고 품사가 일치하는 관계를 선택하는 것이 무선별 통합에 비해 성능 향상에 기여하는가?
• RQ5 지식 통합과 제약 조건이 있는 디코딩의 조합이 인간의 일반 지식과의 일치도를 상당히 향상시킬 수 있는가?

주요 결과

• Attention 기반 지식 통합을 통해 의미적 정확도가 향상되어 인간의 일반 지식 이해와 더 일치하는 문장을 생성하였다.
• Best-N 비트 스코어링은 표준 비트 서치 대비 최대 15%까지 개념 누락률을 감소시켰으며, 특히 연결 기반 통합 방법에서 유의미한 개선 효과를 보였다.
• 품사 인식 지식 선택 기법을 적용한 모델은 요구된 품사 태그 일치 정확도에서 2퍼센트 이상 높은 성능을 기록하였다.
• 빈도 기반으로 확장 개념을 걸러내는 전략은 노이즈를 감소시키고 생성 품질을 향상시켜, 추출된 모든 관계가 유익한 것은 아님을 시사하였다.
• Attention 기반 통합과 제약 조건이 있는 디코딩의 조합은 기존 UniLM 기반 모델과 달리 최종 출력에서 개념 반복을 완전히 제거하였다.
• 절단 실험 결과, 지식 통합과 제약 조건이 있는 디코딩이 각각 성능 향상에 기여하며, 둘을 조합했을 때 상호보완적 효과가 나타났다.