[논문 리뷰] Example-based Hypernetworks for Out-of-Distribution Generalization

Tomer Volk, Eyal Ben‐David외 3명|arXiv (Cornell University)|2022. 03. 27.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 자연어처리(NLP)에서 사전에 알려지지 않은 도메인으로의 다중 소스 도메인 적응을 위한 예시 기반 하이퍼넷워크 프레임워크인 Hyper-PADA를 제안한다. T5 인코더를 사용해 입력 예시로부터 도메인-세미틱 서명을 생성하고, 이를 하이퍼넷워크가 사용하여 작업별 분류기 가중치를 생성함으로써, 감성 분류 및 자연어 추론 분야에서 29개의 적응 시나리오에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

As Natural Language Processing (NLP) algorithms continually achieve new milestones, out-of-distribution generalization remains a significant challenge. This paper addresses the issue of multi-source adaptation for unfamiliar domains: We leverage labeled data from multiple source domains to generalize to unknown target domains at training. Our innovative framework employs example-based Hypernetwork adaptation: a T5 encoder-decoder initially generates a unique signature from an input example, embedding it within the source domains' semantic space. This signature is subsequently utilized by a Hypernetwork to generate the task classifier's weights. We evaluated our method across two tasks - sentiment classification and natural language inference - in 29 adaptation scenarios, where it outpaced established algorithms. In an advanced version, the signature also enriches the input example's representation. We also compare our finetuned architecture to few-shot GPT-3, demonstrating its effectiveness in essential use cases. To our knowledge, this marks the first application of Hypernetworks to the adaptation for unknown domains.

연구 동기 및 목표

• 학습 시점에 타겟 도메인 데이터가 가용하지 않을 때 NLP에서 분포 외 일반화 문제를 해결한다.
• 입력 예시의 공통 및 도메인 특화 특징을 명시적으로 모델링하여 다중 소스 도메인 적응을 향상시킨다.
• 학습 중 타겟 데이터의 레이블 또는 레이블 없음 정보가 필요 없이도 새로운 도메인으로 일반화할 수 있는 방법을 개발한다.
• 하이퍼넷워크를 통한 동적 분류기 가중치 생성과 함께 예시별 표현을 통합하여 적응 성능을 향상시킨다.

제안 방법

• 다양한 소스 도메인의 공통 세미틱 공간에 각 입력 예시를 고유한 의미 서명 임베딩으로 매핑하기 위해 T5 기반 인코더를 사용한다.
• 예시의 서명을 기반으로 하이퍼넷워크가 최종 작업용 분류기 가중치를 생성함으로써 예시별 적응을 가능하게 한다.
• 예시의 원본 임베딩과 서명 임베딩을 융합하여 표현력을 향상시키기 위해 입력 표현을 강화한다.
• 학습 중 타겟 도메인 데이터에 접근할 수 없도록, 여러 소스 도메인의 레이블 데이터를 사용해 전체 시스템을 엔드 투 엔드로 훈련한다.
• 다양한 언어와 도메인에서 감성 분류 및 자연어 추론과 같은 시퀀스 분류 작업에 프레임워크를 적용한다.
• 하이퍼넷워크의 가중치 생성을 안내하기 위해 소스 도메인으로부터 도메인 특화 세미틱 서명을 추출하기 위해 DRF(Distributional Representation Features) 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 학습 시 타겟 도메인 데이터에 접근할 수 없는 상황에서 하이퍼넷워크가 비지도 도메인 적응에 효과적으로 적용될 수 있는가?
• RQ2 학습된 서명을 통한 예시 기반 분류기 가중치 생성이 기존 도메인 적응 방법에 비해 분포 외 도메인으로의 일반화 성능을 향상시키는가?
• RQ3 하이퍼넷워크가 생성한 가중치와 예시별 표현의 통합이 분포 외 설정에서 성능에 어떤 영향을 미치는가?
• RQ4 하이퍼넷워크가 생성한 분류기 가중치의 다양성과 적응 성능 향상 정도 사이의 상관관계는 어느 정도인가?
• RQ5 GPT-3와 같은 대규모 언어 모델을 사용한 소수의 프롬프팅 방식과 비교해 본다면, 제안된 방법은 분포 외 도메인으로의 제로샷 적응에서 어떤 성능을 보이는가?

주요 결과

• Hyper-PADA는 감성 분류 및 자연어 추론 작업에서 29개의 적응 시나리오 전반에서 기존의 도메인 적응 알고리즘을 모두 능가했다.
• CD MNLI 벤치마크에서 Hyper-PADA는 GPT-3(Davinci-003)의 소수 프롬프팅 방식보다 평균 F1 점수에서 5.3%포인트 높은 성능을 기록했으며, 잠재적인 데이터 泄露가 있었음에도 불구하고 그러한 성과를 달성했다.
• CLCD 감성 분류 작업에서 Hyper-PADA는 소수 프롬프팅 설정에서 평균 정확도 90.1%를 기록했으며, GPT-3보다 5.6%포인트 높은 성능을 보였다.
• CLCD 감성 분류에서 하이퍼넷워크가 생성한 분류기 가중치의 다양성과 PADA 대비 성능 향상 간 피어슨 상관계수는 0.475였으며, 이는 유의미한 상관관계가 있음을 시사한다.
• 제거 실험을 통해 예시 기반 분류기 파arametrization이 성능 향상에 크게 기여한다는 것이 확인되었으며, 이는 가중치 다양성과 적응 향상 간 강한 상관관계로 나타났다.
• 이 프레임워크는 4개의 언어와 8개의 소스 도메인에서 모두 뛰어난 강건성을 보이며, 알려지지 않은 타겟 도메인으로의 일반화 능력을 검증했다.