[논문 리뷰] PADA: A Prompt-based Autoregressive Approach for Adaptation to Unseen Domains.

Eyal Ben‐David, Nadav Oved외 1명|arXiv (Cornell University)|2021. 02. 24.

Topic Modeling참고 문헌 45인용 수 33

한 줄 요약

PADA는 자연어 처리에서 zero-shot 도메인 적응을 위한 프롬프트 기반 자동회귀 방법을 제안한다. T5 기반 모델이 도메인 관련 특징(DRFs)에서 작업별 프롬프트를 생성하여, 타겟 데이터 없이도 미리보지 않은 도메인에 적응한다. 이는 텍스트 분류 및 시퀀스 태깅 분야에서 14개의 다중 소스 적응 시나리오에서 최고 성능을 기록한다.

ABSTRACT

Natural Language Processing algorithms have made incredible progress, but they still struggle when applied to out-of-distribution examples. We address a challenging and underexplored version of this domain adaptation problem, where an algorithm is trained on several source domains, and then applied to examples from an unseen domain that is unknown at training time. Particularly, no examples, labeled or unlabeled, or any other knowledge about the target domain are available to the algorithm at training time. We present PADA: A Prompt-based Autoregressive Domain Adaptation algorithm, based on the T5 model. Given a test example, PADA first generates a unique prompt and then, conditioned on this prompt, labels the example with respect to the NLP task. The prompt is a sequence of unrestricted length, consisting of pre-defined Domain Related Features (DRFs) that characterize each of the source domains. Intuitively, the prompt is a unique signature that maps the test example to the semantic space spanned by the source domains. In experiments with 3 tasks (text classification and sequence tagging), for a total of 14 multi-source adaptation scenarios, PADA substantially outperforms strong baselines.

연구 동기 및 목표

• 학습 시 타겟 도메인 예시나 레이블에 접근할 수 없을 때, 테스트 시기에 NLP 모델을 새로운 도메인에 적응시키는 도전 과제를 해결한다.
• 학습 시 타겟 데이터(라벨 있음 또는 없음)가 필요로 하는 기존 도메인 적응 방법의 한계를 극복한다.
• 도메인 관련 특징(DRFs)만을 사용하여 다수의 소스 도메인에서 일반화하고, 완전히 알려지지 않은 타겟 도메인에 적응할 수 있는 방법을 개발한다.
• 작업별 프롬프트를 생성함으로써 테스트 예시를 소스 도메인의 의미 공간으로 매핑함으로써 효과적인 zero-shot 적응을 가능하게 한다.

제안 방법

• 사전 정의된 도메인 관련 특징(DRFs)을 기반으로 각 테스트 예시에 대해 고유하고 길이 제한이 없는 프롬프트를 T5 기반 자동회귀 모델이 생성한다.
• 소스 도메인을 특징짓는 DRFs를 사용하여 테스트 입력을 소스 도메인 공간과 연결하는 의미적 서명을 형성한다.
• 생성된 프롬프트에 조건을 붙여 레이블 생성을 수행함으로써, 맥락을 고려한 방식으로 NLP 작업(예: 분류 또는 시퀀스 태깅)을 수행할 수 있도록 한다.
• 학습 시 타겟 도메인 데이터를 전혀 사용하지 않고, DRFs만을 활용하여 프롬프트 생성을 이끌어내는 방식으로 모델을 종합적으로 훈련한다.
• T5의 자동회귀적 성질을 활용하여 일관되고 작업에 적합한 프롬프트를 생성함으로써 zero-shot 일반화 성능을 향상시킨다.
• DRFs에서 파생된 가변 길이의 프롬프트 시퀀스를 允허함으로써 프롬프트의 다양성과 표현력을 높여, 알려지지 않은 도메인 의미에 대한 적응 능력을 강화한다.

실험 결과

연구 질문

• RQ1 타겟 도메인 데이터가 전혀 없는 상황에서, 프롬프트 기반 자동회귀 접근 방식이 새로운 도메인에 효과적으로 적응할 수 있는가?
• RQ2 완전히 알려지지 않은 타겟 도메인으로 적응할 때, 다수의 소스 도메인에서 일반화 성능이 얼마나 잘 유지되는가?
• RQ3 프롬프트 생성 과정에서 도메인 관련 특징(DRFs)을 사용할 경우, zero-shot 적응 성능 향상에 어느 정도 기여하는가?
• RQ4 다중 소스 도메인 적응 시나리오에서, 제안된 방법이 강력한 베이스라인과 비교해 어떻게 성능을 내는가?

주요 결과

• PADA는 텍스트 분류 및 시퀀스 태깅을 포함한 14개의 다중 소스 적응 시나리오에서 강력한 베이스라인을 크게 앞서는 성능을 기록한다.
• 학습 시점에 타겟 도메인이 완전히 알려지지 않은 상황에서도, zero-shot 도메인 적응에서 최고 성능을 달성한다.
• DRFs를 기반으로 자동회귀적으로 생성된 프롬프트를 사용함으로써, 테스트 예시를 소스 도메인의 의미 공간으로 효과적으로 매핑할 수 있다.
• 다양한 NLP 작업과 도메인 조합에 걸쳐 강력한 일반화 능력을 보이며, 뛰어난 zero-shot 전이 능력을 입증한다.
• 학습 시 타겟 도메인 데이터가 없더라도 성능 저하가 발생하지 않아, DRF 기반 프롬프트 생성의 효과성을 확인한다.
• 이 방법은 텍스트 분류 및 시퀀스 태깅을 포함한 다양한 유형의 NLP 작업에서 zero-shot 설정에서도 효과적으로 작동한다.