[논문 리뷰] Improving Neural Model Performance through Natural Language Feedback on Their Explanations

Aman Madaan, Niket Tandon외 5명|arXiv (Cornell University)|2021. 04. 18.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 재훈련 없이 자연어 피드백을 통해 신경망 모델의 설명을 향상시키는 상호작용형 NLP 시스템인 Mercurie를 소개한다. 인간의 피드백을 활용해 일관성 없는 설명 그래프를 수정함으로써 Mercurie는 일관성을 40% 감소시키고, 세 가지 도메인에서 하류의 취약 추론 정확도를 1.2점 향상시킨다.

ABSTRACT

A class of explainable NLP models for reasoning tasks support their decisions by generating free-form or structured explanations, but what happens when these supporting structures contain errors? Our goal is to allow users to interactively correct explanation structures through natural language feedback. We introduce MERCURIE - an interactive system that refines its explanations for a given reasoning task by getting human feedback in natural language. Our approach generates graphs that have 40% fewer inconsistencies as compared with the off-the-shelf system. Further, simply appending the corrected explanation structures to the output leads to a gain of 1.2 points on accuracy on defeasible reasoning across all three domains. We release a dataset of over 450k graphs for defeasible reasoning generated by our system at https://tinyurl.com/mercurie .

연구 동기 및 목표

• 재훈련 없이 자연어 피드백을 활용해 신경망 모델 설명을 상호작용적으로 수정할 수 있도록 하는 것.
• 기존 시스템이 구조적 또는 실행 가능한 피드백가 필요로 하는 한계를 해결하기 위해, 실제 환경에서는 흔하지 않은 이러한 피드백 형식을 요구하지 않는 것.
• 오픈 도메인 및 실제 응용에서 신경망 모델이 생성하는 설명 그래프의 일관성과 품질을 향상시키는 것.
• 다듬어진 설명 구조가 하류 추론 작업에서 측정 가능한 성능 향상으로 이어지는지 입증하는 것.
• 향후 연구를 지원하기 위해 45만 건이 넘는 설명 그래프로 구성된 대규모 데이터셋을 공개하는 것.

제안 방법

• 시스템은 두 구성 요소로 이루어진 파이프라인을 사용한다: 초기 설명 그래프를 생성하는 사전 훈련된 신경망 모델(M)과 인간의 피드백을 활용해 그래프를 다듬는 그래프 보정기(G).
• 인간의 피드백은 자연어로 제공되며, 설명 그래프의 일관성 오류나 오류를 기술한다 (예: '이 노드는 그래프의 나머지 부분과 모순된다.').
• 그래프 보정기(G)는 입력 쿼리, 피드백, 그리고 초기 그래프를 입력으로 받아 수정된 그래프를 출력하는, 미세조정된 순서-순서 모델을 기반으로 훈련된다.
• 수정 과정은 반복적이다: 피드백을 수집하고 그래프를 다듬고, 더 이상 피드백이 없을 때까지 이를 반복한다.
• 수정된 그래프는 하류 작업(취약 추론)의 입력 시퀀스에 첨부되어 컨텍스트 표현을 향상시킨다.
• 시스템은 입력 시퀀스를 그래프 노드와 함께 RoBERTa-base로 인코딩한 후, 예측을 위해 단일 레이어의 MLP 분류기를 사용한다.

실험 결과

연구 질문

• RQ1 자연어 피드백이 신경망 모델이 생성한 설명 그래프의 일관성 문제를 효과적으로 줄일 수 있는가?
• RQ2 인간의 피드백을 통해 설명 구조를 다듬는 것이 하류 추론 성능에 측정 가능한 향상 효과를 가져오는가?
• RQ3 특정 작업에 맞는 피드백 스키마나 구조적 편집 명령어 없이도 시스템이 다양한 도메인에 일반화될 수 있는가?
• RQ4 설명 그래프의 품질이 하류 취약 추론 작업 성능에 어떤 영향을 미치는가?
• RQ5 재훈련 없이도 설명에 대한 피드백이 기반 신경망 모델의 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• 그래프 보정기(G)는 설명 그래프 내 반복 노드의 평균 수를 40% 감소시켜, 그래프당 2.11에서 1.25로 줄였다.
• 반복이 하나 이상 있는 그래프의 비율은 도메인 평균에서 73.3%에서 47.6%로 감소했다.
• 수정된 그래프를 입력 시퀀스에 첨부함으로써, 세 도메인(원자, SNLI, 사회) 전반에서 취약 추론 정확도가 평균 1.2점 향상되었다.
• 수정된 그래프를 사용한 모델(G)은 평균 정확도 83.26%를 기록했으며, 베이스라인(82.03%)과 수정되지 않은 모델(82.53%)보다 유의미하게 높았다.
• 향상은 통계적으로 유의미하여, 더 깔끔하고 일관성 있는 설명 구조가 하류 추론 성능 향상에 기여한다는 것을 입증했다.
• 정확하지도 않고 실행 가능한 형식이 아닌 실제 피드백에도 불구하고, 시스템은 특수한 피드백 형식 없이도 성공적으로 일반화되었다.