[논문 리뷰] Deepening Hidden Representations from Pre-trained Language Models

Junjie Yang, Hai Zhao|arXiv (Cornell University)|2019. 11. 05.

Topic Modeling참고 문헌 36인용 수 4

한 줄 요약

이 논문은 사전 훈련된 언어 모델의 성능을 향상시키기 위해 중간 Transformer 레이어의 보완적 표현을 최종 레이어 출력과 융합하는 동적 메커니즘인 HIdden Representation Extractor (HIRE)를 제안한다. 백본으로 RoBERTa를 사용하여 GLUE 작업 전반에서 성능을 향상시키며, SST-2에서 최신 기술 성과(SOTA)를 달성하고, 9개 작업 중 5개에서 베이스라인을 능가한다. 이는 작업 및 입력 기반의 필요에 따라 은닉 상태를 적응적으로 가중하는 방식이다.

ABSTRACT

Transformer-based pre-trained language models have proven to be effective for learning contextualized language representation. However, current approaches only take advantage of the output of the encoder's final layer when fine-tuning the downstream tasks. We argue that only taking single layer's output restricts the power of pre-trained representation. Thus we deepen the representation learned by the model by fusing the hidden representation in terms of an explicit HIdden Representation Extractor (HIRE), which automatically absorbs the complementary representation with respect to the output from the final layer. Utilizing RoBERTa as the backbone encoder, our proposed improvement over the pre-trained models is shown effective on multiple natural language understanding tasks and help our model rival with the state-of-the-art models on the GLUE benchmark.

연구 동기 및 목표

• 세부 훈련된 사전 훈련된 언어 모델에서 최종 레이어 출력에만 의존하는 데에 기인하는 한계를 해결하기 위해.
• 최종 레이어가 포착하지 못한 보완적 정보가 중간 레이어에 포함되어 있는지 탐색하기 위해.
• 다양한 레이어의 표현을 융합하여 개선된 문맥 기반 언어 표현을 만들 수 있는 동적이고 적응적인 메커니즘을 설계하기 위해.
• 제안된 방법이 백본 모델의 아키텍처나 사전 훈련을 수정하지 않고도 다양한 자연어 이해(NLU) 작업 전반에서 성능 향상을 이끌 수 있는지 확인하기 위해.
• 레이어 간 표현 중요도가 어떻게 작업, 작업 및 개별 예제에 따라 변화하는지 분석하기 위해.

제안 방법

• HIRE는 최종 레이어를 제외한 모든 은닉 레이어에서 보완적 표현을 추출하는 학습 가능한 네트워크이다.
• 이 방법은 입력 및 작업 컨텍스트에 따라 각 은닉 레이어에 적응적인 가중치를 할당하는 동적 중요도 스코어링 메커니즘을 사용한다.
• 융합 네트워크는 게이트드 순환 단위(GRU) 아키텍처를 사용하여 최종 레이어 출력과 HIRE가 추출한 표현을 융합한다.
• 중요도 스코어는 모든 중간 레이어의 기여를 집계하는 미분 가능한 소프트 어텐션 메커니즘을 통해 계산된다.
• 백본의 사전 훈련 및 아키텍처를 유지하면서 원래 RoBERTa와 동일한 목적함수로 엔드 투 엔드로 훈련된다.
• 융합 과정은 원래 모델의 구조를 변경하지 않고도 개선된 표현을 다운스트림 작업 헤드에 통합한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 Transformer 모델의 중간 레이어가 최종 레이어가 포착하지 못한 보완적 정보를 제공할 수 있는가?
• RQ2 각 은닉 레이어의 기여도는 다양한 NLU 작업과 개별 입력 예제에 따라 어떻게 달라지는가?
• RQ3 고정되거나 단일 레이어 융합보다 다층 표현을 융합하는 동적이고 적응적인 메커니즘이 다운스트림 성능 향상에 기여하는가?
• RQ4 제안된 HIRE 구성 요소가 백본 모델을 재훈련하지 않고도 다양한 GLUE 벤치마크 작업에서 성능 향상을 이끌 수 있는가?
• RQ5 성능과 복잡성의 균형을 고려할 때 융합 네트워크에서 GRU 레이어의 최적 수는 얼마인가?

주요 결과

• HIRE는 GLUE 벤치마크의 9개 작업 중 5개에서 성능 향상을 보였으며, 특히 SST-2 감성 분류 작업에서 가장 뚜렷한 향상을 보였다.
• SST-2 데이터셋에서 최신 기술 성과(SOTA)를 달성하여 베이스라인 RoBERTa 모델을 능가했다.
• 고정 전략(예: 평균 또는 무작위 가중치)보다 동적 중요도 스코어링 메커니즘이 더 뛰어난 성능을 보였으며, 적응성의 가치를 입증했다.
• 제거 실험 결과, 융합 네트워크에서 두 개의 GRU 레이어를 사용할 경우 CoLA에서 최고의 성능을 보였으며, Matthews 상관계수 69.7을 기록했다.
• 레이어 중요도 분포는 작업 간에 크게 달라졌다: 단일 문장 및 유사도 작업에서는 중간 및 하위 레이어가 가장 기여했고, STS-B 및 RTE 작업에서는 모든 레이어가 거의 동일한 기여를 하였다.
• 시각화 결과 HIRE가 작업 간 뿐 아니라 개별 예제 간에도 적응하는 것으로 확인되었으며, SST-2에서는 레이어 21과 22가 가장 영향력 있는 것으로 일관된 패tern을 보였다.