[논문 리뷰] Diverse Demonstrations Improve In-context Compositional Generalization

Itay Levy, Ben Bogin외 1명|arXiv (Cornell University)|2022. 12. 13.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 의미 분석에서 알려진 요소들의 새로운 조합을 처리해야 하는 복합 일반화 문제를 해결하기 위해 인컨텍스트 학습에서 다양한 예시를 사용하는 것을 제안한다. 모델이 알려진 요소의 새로운 조합을 다룰 수 있도록, 전체적으로 필요한 프로그램 구조를 커버하는 예시를 선택함으로써 성능을 향상시킨다. 이는 구조적 다양성을 고려한 커버리지 기반 전략인 Cover-LS를 사용하여 달성되며, 순수 인컨텍스트 학습과 파인튜닝을 조합한 경우 모두 복합 일반화 벤치마크에서 최대 23점의 절대적 성능 향상을 이룬다.

ABSTRACT

In-context learning has shown great success in i.i.d semantic parsing splits, where the training and test sets are drawn from the same distribution. In this setup, models are typically prompted with demonstrations that are similar to the input utterance. However, in the setup of compositional generalization, where models are tested on outputs with structures that are absent from the training set, selecting similar demonstrations is insufficient, as often no example will be similar enough to the input. In this work, we propose a method to select diverse demonstrations that aims to collectively cover all of the structures required in the output program, in order to encourage the model to generalize to new structures from these demonstrations. We empirically show that combining diverse demonstrations with in-context learning substantially improves performance across three compositional generalization semantic parsing datasets in the pure in-context learning setup and when combined with finetuning.

연구 동기 및 목표

• 인컨텍스트 학습이 복합 일반화 설정에서 실패하는 문제를 해결하기 위해, 테스트 입력과 유사한 단일 학습 예시가 존재하지 않는 경우를 대비한다.
• 예시 세트의 다양성을 높여 일반화 성능을 향상시키고, 모든 필수 프로그램 구조가 커버되도록 보장한다.
• 입력과 유사도가 아닌, 목표 프로그램을 커버하는 데 있어 구조적 보완성을 고려해 예시를 선택하는 방법을 개발한다.
• 순수 인컨텍스트 학습과 파인튜닝 환경에서 다양한 예시의 효과를 평가한다.

제안 방법

• 목표 출력의 국소적 프로그램 구조를 식별하고, 이러한 구조를 함께 커버하는 예시를 선택하는 커버리지 기반 검색 방법인 Cover-LS를 제안한다.
• 모델 예측을 활용해 목표 프로그램의 잠재적 부분 구조를 식별하고, 이를 커버하는 예시를 검색함으로써 구조적 다양성을 향상시킨다.
• 예측된 국소적 구조를 최대한 커버하도록 후보 예시에 대해 비드 서치를 수행하며, 다양성을 유지한다.
• 입력 유사도와는 무관하게 서로 다른 프로그램 구조를 가진 예시를 우선순위로 정렬하는 검색 기반 접근법을 적용한다.
• 모델이 예시를 입력으로 사용하도록 학습함으로써 파인튜닝과 조합하는 방법을 적용하며, 과도한 의존을 방지하기 위해 노이즈가 섞인 예시를 사용한다.
• 신경망 기반 및 비신경망 기반 검색기 모두를 사용해 예시를 선택하고, 개선도를 개발 세트에서 평가하여 최적의 검색 전략을 선정한다.

실험 결과

연구 질문

• RQ1 모든 필요한 프로그램 구조를 함께 커버하는 다양한 예시를 선택하면, 복합 일반화 작업에서 인컨텍스트 학습 성능이 향상되는가?
• RQ2 소수의 예시에서 의미 분석을 수행할 때, 커버리지 기반 예시 선택이 유사도 기반 선택보다 우월한가?
• RQ3 파인튜닝과의 조합에서나 순수 인컨텍스트 학습 환경에서 다양한 예시를 사용할 경우 성능에 어떤 영향을 미치는가?
• RQ4 효율적인 일반화를 위해 필요한 예시의 수를 줄일 수 있는가?
• RQ5 예시의 구조적 다양성이 어려운, 분포 외부의 예제에 대해 성능 향상에 기여하는가?

주요 결과

• Cover-LS 방법은 SMCalFlow-CS 데이터셋에서 유사도 기반 베이스라인 대비 최대 23.2점의 절대적 성능 향상을 기록했다.
• H-CLUTRR 및 GeoQuery-CS 데이터셋에서, 다양한 예시는 순수 인컨텍스트 학습 환경을 포함한 모든 설정에서 일관된 성능 향상을 이끌어냈다.
• 효율적인 일반화를 위해 필요한 예시 수를 줄였으며, 다양성이 소수 예시 학습을 더 효율적으로 만들 수 있음을 보여주었다.
• 성능 향상은 특히 어려운 예제에서 두드러졌으며, 이는 새로운 프로그램 구조로의 일반화 능력 향상을 시사한다.
• 파인튜닝 여부에 관계없이 여러 복합 의미 분석 벤치마크에서 최신 기술 수준의 성능을 달성했다.
• 커버리지 기반 다양성(Cover-LS)이 단순히 예시 간 이질성에 기반한 다양성보다 우수했으며, 이는 구조적 관련성의 중요성을 입증한다.