[논문 리뷰] Orthogonal Language and Task Adapters in Zero-Shot Cross-Lingual Transfer

Marko Vidoni, Ivan Vulić외 1명|arXiv (Cornell University)|2020. 12. 11.

Topic Modeling참고 문헌 33인용 수 25

한 줄 요약

이 논문은 다국어 트랜스포머에서 zero-shot 다국어 간 전이를 위해 수직 언어 및 작업 어댑터(orthoadapters)를 제안한다. 이는 사전 훈련된 모델의 특징과 어댑터 표현 간의 수직성을 강제하여 새로운 비중복 지식을 통합한다. 실험 결과, 특히 복잡한 NLI 작업에서 성능 향상이 뚜렷하게 나타나 수직성은 부족한 중복을 최소화하여 전이 성능을 향상시키며, 최적의 설정은 작업 및 대상 언어에 따라 크게 달라진다.

ABSTRACT

Adapter modules, additional trainable parameters that enable efficient fine-tuning of pretrained transformers, have recently been used for language specialization of multilingual transformers, improving downstream zero-shot cross-lingual transfer. In this work, we propose orthogonal language and task adapters (dubbed orthoadapters) for cross-lingual transfer. They are trained to encode language- and task-specific information that is complementary (i.e., orthogonal) to the knowledge already stored in the pretrained transformer's parameters. Our zero-shot cross-lingual transfer experiments, involving three tasks (POS-tagging, NER, NLI) and a set of 10 diverse languages, 1) point to the usefulness of orthoadapters in cross-lingual transfer, especially for the most complex NLI task, but also 2) indicate that the optimal adapter configuration highly depends on the task and the target language. We hope that our work will motivate a wider investigation of usefulness of orthogonality constraints in language- and task-specific fine-tuning of pretrained transformers.

연구 동기 및 목표

• 다국어 트랜스포머에서 저자원 언어의 표현 품질이 떨어지는 다국어성의 고통 문제를 해결하기 위해.
• 사전 훈련된 MMT 파rameter에 이미 존재하는 지식을 중복하지 않고 새로운 비중복 정보를 어댑터 모듈이 캡처하도록 보장하여 zero-shot 다국어 간 전이를 향상시키기 위해.
• 어댑터 표현과 사전 훈련된 MMT 레이어 간의 수직성을 강제하면 최종 작업 전이 성능이 향상되는지 조사하기 위해.
• 다양한 작업과 저자원 언어에서 언어별 및 작업별 orthoadapters의 효과성을 평가하기 위해.
• 수직성 제약 조건이 어댑터 기반 미세조정에서 더 효율적이고 효과적인 지식 통합을 이끌 수 있는지 탐색하기 위해.

제안 방법

• orthoadapters 제안: 어댑터의 히든 표현이 해당 MMT 레이어 표현과 수직이 되도록 보장하기 위해 추가적인 수직성 손실을 사용해 훈련하는 어댑터 모듈.
• 단일 언어 코퍼스에서 마스크된 언어 모델링을 통해 언어 orthoadapters를 훈련하며, 사전 훈련된 MMT 특징과의 보완성을 확보하기 위해 훈련 중 수직성 손실을 적용.
• 고정된 소스 언어 orthoadapters를 사용하여 소스 언어 데이터에서 작업 orthoadapters를 훈련하며, 작업 목표를 위해 교차 엔트로피 손실을 사용하고 동일한 수직성 제약 조건을 적용.
• 소스 언어 orthoadapters를 대체하여 타겟 언어 orthoadapters를 사용함으로써 zero-shot 전이를 가능하게 한다.
• MMT와 어댑터 출력을 결합하기 위해 잔차 연결 메커니즘을 사용하며, 이는 어댑터 기여도에 수직성 제약 조건이 적용되도록 보장한다.
• 10개의 다양한 문체적 언어에서 POS 태깅, NER, NLI 세 가지 작업에 대해 평가하며, 수직 및 비수직 어댑터 변형 간 비교를 수행.

실험 결과

연구 질문

• RQ1 어댑터 표현과 사전 훈련된 MMT 레이어 간의 수직성을 강제하면 zero-shot 다국어 간 전이 성능이 향상되는가?
• RQ2 수직성은 다양한 NLP 작업, 특히 작업 복잡성 측면에서 성능에 어떻게 영향을 미치는가?
• RQ3 수직성의 효과는 대상 언어와 자원 수준에 따라 어느 정도 의존하는가?
• RQ4 작업별 orthoadapters는 수직성 제약 조건에서 유익을 얻을 수 있으며, 만약 그렇다면 어떤 조건에서인가?
• RQ5 언어별 및 작업별 orthoadapters 사용 간의 상호보완성은 존재하는가? 그 조합이 성능에 어떤 영향을 미치는가?

주요 결과

• 수직 언어 어댑터(l-ort)는 복잡한 NLI 작업에서 zero-shot 다국어 간 전이 성능을 크게 향상시키며, l-ort+t-noo 설정에서 평균 성능이 가장 높다.
• POS 태깅에서는 l-ort+t-noo가 기준선 대비 약간의 성능 향상을 보이며 주로 중국어에서 향상되지만, 언어 간 결과는 일관되지 않다.
• NER에서는 l-ort+t-noo가 평균적으로 약간의 성능 향상을 기록하지만, 성능은 다양하게 변동한다—일부 언어(ilo, ar)에서는 향상되고, 다른 언어(qu, mhr)에서는 감소한다.
• 작업별 orthoadapters(t-ort)는 비라틴 문자를 사용하는 언어(예: 아랍어, 중국어, 힌두어)의 UD-POS 작업에서 상당한 성능 향상을 기록하지만, NLI에서는 유익이 없거나 오히려 성능 저하가 발생한다.
• 언어 및 작업 orthoadapters를 조합하면 성능이 떨어지는 경우가 많아, 상호 간섭 또는 충돌하는 최적화 목표가 존재할 수 있음을 시사한다.
• 수직성의 최적 사용은 작업 및 언어에 따라 크게 달라지며, 일괄적인 어댑터 설정이 효과적이지 않음을 시사한다.