[논문 리뷰] AutoRC: Improving BERT Based Relation Classification Models via Architecture Search

Wei Zhu, Xipeng Qiu외 2명|arXiv (Cornell University)|2020. 09. 22.

Topic Modeling참고 문헌 26인용 수 5

한 줄 요약

이 논문은 관계 분류를 위한 최적의 BERT 기반 아키텍처를 자동으로 탐색하기 위해 엔티티 스팬 식별, 풀링 전략, 특징 상호작용을 탐색하는 신경망 아키텍처 탐색(NAS) 프레임워크인 AutoRC를 제안한다. 파rameter 공유와 다중 BERT 인코더 복사본을 활용한 강화 학습을 통해 AutoRC는 일곱 개인 벤치마크 데이터셋에서 최신 기술 성능을 달성하며, 과적합에 대한 강건성과 작업별 최적 아키텍처의 우수성을 입증한다.

ABSTRACT

Although BERT based relation classification (RC) models have achieved significant improvements over the traditional deep learning models, it seems that no consensus can be reached on what is the optimal architecture. Firstly, there are multiple alternatives for entity span identification. Second, there are a collection of pooling operations to aggregate the representations of entities and contexts into fixed length vectors. Third, it is difficult to manually decide which feature vectors, including their interactions, are beneficial for classifying the relation types. In this work, we design a comprehensive search space for BERT based RC models and employ neural architecture search (NAS) method to automatically discover the design choices mentioned above. Experiments on seven benchmark RC tasks show that our method is efficient and effective in finding better architectures than the baseline BERT based RC model. Ablation study demonstrates the necessity of our search space design and the effectiveness of our search method.

연구 동기 및 목표

• 엔티티 스팬 식별, 풀링 방법, 특징 선택 등 최적의 BERT 기반 관계 분류(RC) 아키텍처에 대한 합의 부족 문제를 해결하기 위해.
• 핵심 아키텍처 선택을 포함하는 포괄적인 탐색 공간을 정의함으로써 RC 모델의 설계를 자동화하기 위해.
• 강화 학습을 활용한 효율적이고 효과적인 신경망 아키텍처 탐색(NAS) 방법을 개발하여 작업별 최적 아키텍처를 탐색하기 위해.
• 제거 실험과 전이 학습 연구를 통해 탐색 공간 설계의 필요성과 탐색 전략의 효과성을 검증하기 위해.

제안 방법

• 엔티티 스팬 식별 방법(예: 엔티티 마커 또는 토큰 대체), 풀링 연산(예: 시작 풀링 또는 평균 풀링), 엔티티 및 컨텍스트 표현 간의 상호작용을 포함한 특징 조합을 포함하는 포괄적인 탐색 공간을 정의한다.
• 강화 학습 기반의 탐색 에이전트가 후보 아키텍처를 생성하고, 검증 성능에 기반한 보상을 수신하며, 정책 기반 강화 학습 방법을 통해 정책을 업데이트한다.
• 모든 자식 모델 간에 파라미터 공유를 적용하여 공유된 BERT, 풀링 및 분류 레이어 가중치로 초기화함으로써 학습 및 탐색 속도를 가속화한다.
• 과적합 방지를 위해 탐색 중에 다중 BERT 인코더 복사본을 유지함으로써 보상 신호의 신뢰성을 향상시킨다.
• 탐색 과정은 검증 세트에서 수행되며, 최고 성능을 보인 아키텍처는 하이퍼파라미터 튜닝을 통해 테스트 세트에서 미세조정된다.
• 전이 학습 평가를 위해 한 작업에서 학습된 아키텍처를 다른 작업에 적용하여 도메인 간 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처 탐색(NAS)이 수작업 설계된 기준 모델보다 더 나은 BERT 기반 관계 분류 아키텍처를 효과적으로 탐색할 수 있는가?
• RQ2 엔티티 스팬 식별, 풀링 전략, 특징 상호작용과 같은 다양한 아키텍처 선택이 RC 성능에 어떻게 영향을 미치는가?
• RQ3 탐색 중에 다중 BERT 인코더 복사본을 유지할 경우 발견된 아키텍처의 품질이 얼마나 향상되는가?
• RQ4 학습된 아키텍처는 다양한 도메인과 작업 간에 얼마나 이식 가능한가?
• RQ5 탐색 공간의 어떤 구성 요소가 성능 향상에 가장 기여하는가?

주요 결과

• AutoRC는 일곱 개의 벤치마크 관계 분류 작업 전반에서 표준 BERT 기반 RC 모델을 능가하며, 일관되고 뚜렷한 성능 향상을 입증한다.
• 학습된 아키텍처는 작업 간에 상당한 차이를 보인다 — 예를 들어, i2b2는 엔티티 마커와 엔티티-컨텍스트 상호작용을 사용하는 반면, deft2020은 엔티티 토큰 대체와 [CLS] 풀링을 사용한다 — 이는 강력한 작업 특이성을 시사한다.
• 제거 실험 결과, 특징 상호작용과 다양한 풀링 연산이 성능에 매우 중요하며, 특히 i2b2와 같은 복잡한 작업에서는 더욱 그렇다.
• 탐색 중에 다중 BERT 인코더 복사본을 유지함으로써 더 나은 일반화와 높은 성능이 달성되며, 이는 과적합을 줄이는 데 기여한다는 점이 확인된다.
• 전이 학습 결과, 오픈 도메인 작업(예: kbp37)에서 학습된 모델은 의료 도메인 작업(예: i2b2, ddi)으로의 일반화 능력이 떨어지지만, 유사 도메인 간(예: i2b2와 ddi)에서는 잘 이식 가능함을 보여주며, 도메인 의존성을 강조한다.
• 탐색 공간 설계의 효과성이 검증된다: 특징 상호작용이나 풀링 다양성의 제거는 성능 저하를 야기하며, 이는 포괄적인 아키텍처 탐색의 중요성을 확인한다.