[논문 리뷰] Deriving Machine Attention from Human Rationales

Yujia Bao, Shiyu Chang외 2명|arXiv (Cornell University)|2018. 08. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 11

한 줄 요약

이 논문은 자원이 풍부한 작업에서의 고품질 기계 주의 분포를 자원이 부족한 작업으로 전이하기 위해 인간이 주석을 달아 라이언티브를 주의 분포로 매핑하는 방법인 R2A를 제안한다. 도메인 불변 표현과 라이언티브-주의 분포 매핑을 동시에 학습함으로써 R2A는 벤치마크 데이터셋에서 평균 오차를 15퍼센트 이상 감소시켜 최신 기준 모델들을 능가한다.

ABSTRACT

Attention-based models are successful when trained on large amounts of data. In this paper, we demonstrate that even in the low-resource scenario, attention can be learned effectively. To this end, we start with discrete human-annotated rationales and map them into continuous attention. Our central hypothesis is that this mapping is general across domains, and thus can be transferred from resource-rich domains to low-resource ones. Our model jointly learns a domain-invariant representation and induces the desired mapping between rationales and attention. Our empirical results validate this hypothesis and show that our approach delivers significant gains over state-of-the-art baselines, yielding over 15% average error reduction on benchmark datasets.

연구 동기 및 목표

• 고품질 주의 분포의 대체로 인간이 주석을 달아 라이언티브를 활용하여 저자원 NLP 성능을 향상시키는 것.
• 다양한 도메인 간 전이가 가능한 라이언티브에서 주의 분포로의 일반화된 매핑을 학습하는 것.
• 라벨이 많은 데이터에 의존하는 것을 줄이기 위해 라이언티브를 더 효율적인 감독 형태로 사용하는 것.
• 직접적인 감독보다 라이언티브-주의 분포 매핑이 더 높은 성능을 내는지 확인하는 것.
• 모델의 효과성을 각도 수준 및 도메인 간 전이 설정 모두에서 검증하는 것.

제안 방법

• R2A 모델은 인간이 주석을 달아 라이언티브가 있는 자원이 풍부한 소스 작업에서 주의 기반 분류기를 함께 학습한다.
• 저자원 타겟 작업으로의 전이를 가능하게 하기 위해 도메인 불변 표현을 학습한다.
• 불변 표현을 사용하여 인간의 라이언티브를 연속적인 주의 분포로 변환하는 매핑 헤드를 설계한다.
• 주어진 주의 생성과 후속 분류 목표를 동시에 최적화하기 위해 엔드 투 엔드로 모델을 학습한다.
• 타겟 작업에서 학습된 매핑을 통해 인간의 라이언티브에서 주의를 생성하고, 이를 최종 분류기의 감독 신호로 사용한다.
• 인간의 라이언티브가 대규모로 확보되지 않은 경우, 소스 작업에서 기계가 생성한 라이언티브를 대체로 사용한다.

실험 결과

연구 질문

• RQ1 인간의 라이언티브에서 고품질 주의 분포로의 매핑을 학습하고 저자원 작업으로 전이시킬 수 있는가?
• RQ2 저자원 환경에서 직접적인 감독보다 R2A가 생성한 주의 분포가 더 뛰어난 성능을 내는가?
• RQ3 라이언티브-주의 분포 매핑은 다양한 도메인과 작업 간에 일반화 가능한가?
• RQ4 저자원 전이 학습에서 R2A의 성능은 최신 기준 모델들과 비교해 어떻게 되는가?
• RQ5 표준 감독 학습에 비해 더 많은 레이블 예측을 사용할 때 R2A의 데이터 효율성은 어떠한가?

주요 결과

• R2A는 최고의 베이스라인 대비 도메인 전이 설정에서 벤치마크 데이터셋에서 평균 오차를 15퍼센트 이상 감소시킨다.
• 호텔 리뷰의 세 가지 각도에서, R2A는 200개의 레이블 예측과 라이언티브를 사용했을 때, 라이언티브 없이 800, 3100, 1900개의 레이블 예측으로 훈련된 베이스라인 모델의 성능을 따라잡는다.
• 오라클 주의 분포(대규모 주석에서 유도됨)는 라이언티브 전용 및 R2A 모델보다 성능이 뛰어나지만, R2A는 성능에서 이를 거의 근접하게 모방한다.
• R2A가 생성한 주의 분포는 오라클 주의 분포와 마찬가지로 작업 관련 단어—예를 들어 명사와 형용사—에 초점을 맞춘다. 이는 의미적 일치를 보여준다.
• 정성적 분석을 통해 R2A의 주의 분포가 라이언티브 단어에 집중하고 기능어를 줄이는 것으로 확인되었으며, 인간의 해석 가능성과 유사하다.
• 이 방법은 학습된 주의 분포 매핑과 함께 라이언티브가 원시 레이블보다 더 효과적인 감독 신호가 될 수 있음을 보여준다.