[논문 리뷰] HUBERT Untangles BERT to Improve Transfer across NLP Tasks

Mehrad Moradshahi, Hamid Palangi외 3명|arXiv (Cornell University)|2019. 10. 25.

Topic Modeling참고 문헌 37인용 수 16

한 줄 요약

HUBERT는 텐서 곱 표현(TPRs)을 사용하여 BERT의 표현을 콘텐츠(채움)와 구조적 역할 성분으로 분리함으로써 NLP에서의 전이 학습을 향상시키는 방법을 제안한다. 의미적 콘텐츠와 문법적 역할을 분리하여 학습함으로써 HUBERT는 특히 HANS와 같은 도전적인 NLP 벤치마크에서 뛰어난 성능 향상을 이루었으며, GLUE 작업에서 BERT보다 최대 12.28% 향상되었고, 비함의성 케이스에서는 5.7% 향상되었다.

ABSTRACT

We introduce HUBERT which combines the structured-representational power of Tensor-Product Representations (TPRs) and BERT, a pre-trained bidirectional Transformer language model. We show that there is shared structure between different NLP datasets that HUBERT, but not BERT, is able to learn and leverage. We validate the effectiveness of our model on the GLUE benchmark and HANS dataset. Our experiment results show that untangling data-specific semantics from general language structure is key for better transfer among NLP tasks.

연구 동기 및 목표

• BERT의 표현이 개별 작업에서는 뛰어난 성능을 보이지만 다양한 NLP 작업 간 전이 가능성에 한계가 있다는 문제를 해결하기 위해.
• BERT의 표현에서 의미적 콘텐츠(채움)와 구조적 역할을 분리하면 더 일반적인 언어 지식을 획득할 수 있는지 조사하기 위해.
• 역할에 인코딩된 구조적 지식이 다양한 NLP 작업 간에 효과적으로 전이될 수 있는지 평가하기 위해.
• 어휘 일치와 같은 표면적 힌트(예: 어휘 일치)에 의존하는 경향을 줄임으로써 HANS와 같은 진단용 NLP 벤치마크에서의 강건성을 향상시키기 위해.
• TPR 기반 분리가 역할과 채움 표현을 작업 간에 공유할 수 있도록 하여 지식 전이를 향상시킬 수 있음을 입증하기 위해.

제안 방법

• HUBERT는 BERT의 최종 레이어 토큰 임베딩 위에 TPR 레이어를 도입하여 각 토큰의 표현을 채움 임베딩과 역할 임베딩의 텐서 곱으로 분해한다.
• 모델은 하류 NLP 작업에서의 엔드 투 엔드 훈련을 통해 BERT의 뒤엉킨 표현을 별도의 채움 및 역할 성분으로 분해한다.
• TPR 기법은 텐서 곱 연산을 사용하여 채움 및 역할 벡터를 결합함으로써 분산된 연속적인 벡터 공간에서 구조적 관계를 유지한다.
• MNLI에서 사전 훈련한 후, HUBERT의 역할 및 채움 표현은 QNLI, QQP, RTE, SST, SNLI 등의 다른 작업으로 이전되며, 새로운 작업에서의 테스트만 수행된다.
• HANS 평가를 위해 모델은 HANS 진단 세트로 MNLI에서 학습한 역할과 채움만 이전하며, HANS 데이터로 재훈련하지 않는다.
• 이 방법은 함의성 케이스에서 성능를 유지하면서 동시에 문법 힌트를 위반하는 비함의성 케이스에서의 일반화 능력을 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 TPR를 사용하여 BERT의 표현을 채움과 역할 성분으로 분리하면 다양한 NLP 작업 간 지식 전이가 향상되는가?
• RQ2 새로운 작업으로 전이할 때, BERT의 뒤얽힌 표현보다 역할에 인코딩된 구조적 지식이 더 잘 일반화되는가?
• RQ3 TPR 기반 표현은 자연어 함의에서 표면적 언어 힌트(예: 어휘 일치)에 의존하는 정도를 어느 정도 줄이는가?
• RQ4 HANS와 같은 진단 벤치마크에서 HUBERT의 성능은 비함의성 케이스에서 BERT와 비교해 어떻게 다른가?
• RQ5 예를 들어 MNLI에서 학습한 역할과 채움 성분을 다른 작업(예: SNLI)으로만 이전하면, 어려운 분포 외부 예측에 대한 성능 향상이 이루어지는가?

주요 결과

• HUBERT는 QNLI, QQP, RTE, SST, SNLI 등의 하류 GLUE 작업에서 미세조정 후 BERT의 -0.33%에서 2.53%까지의 성능 향상과 대비하여 0.60%에서 12.28%까지의 성능 향상을 기록했다.
• HANS 진단 데이터셋에서 HUBERT는 비함의성 클래스에서 평균 5.7% 향상되었으며, 이는 표면적 힌트에 대한 의존도 감소를 시사한다.
• SNLI에서의 미세조정 후 HUBERT는 어휘 비함의성 케이스에서 61.62% 향상(6,162개 예제)되었으며, 이는 역할 기반 단어 임베딩의 강력한 전이를 보여준다.
• 부분수열 및 구성요소 비함의성 케이스에서 각각 1.44%와 5.4% 향상되었으며, 이는 문법 위반에 대한 강건성이 향상되었음을 나타낸다.
• BERT는 SNLI에서의 미세조정 후 함의성 케이스에서 약간의 성능 향상을 보였지만, 비함의성 케이스에서 성능이 크게 떨어졌으며, 이는 새로운 지식을 효과적으로 통합하지 못했음을 시사한다.
• HUBERT는 함의성 케이스에서 높은 성능를 유지하면서도 비함의성 케이스에서 크게 향상되었으며, 이는 효과적인 지식 전이와 힌트에 의존하는 편향 감소를 보여준다.