[논문 리뷰] Wasserstein Barycenter Model Ensembling

Pierre Dognin, Igor Melnyk외 4명|arXiv (Cornell University)|2019. 02. 13.

Statistical and Computational Modeling인용 수 15

한 줄 요약

이 논문은 워셔스타인 바리센터 모델 앙상블을 제안하여, 단어 임베딩 또는 비용 행렬을 통한 의미적 보조 정보를 활용해 다중분류 및 다중라벨 학습에서 모델 평균화를 향상시킨다. 최적 운반 이론을 활용함으로써 이 방법은 모델 신뢰도와 의미 유사도를 균형 잡으며, 속성 기반 분류, 다중라벨 학습, 이미지 캡셔닝에서 산술 평균 및 기하 평균 앙상블을 능가한다. 특히 의미적 다양성과 레이블 편향에 대한 강건성을 향상시킨다.

ABSTRACT

In this paper we propose to perform model ensembling in a multiclass or a multilabel learning setting using Wasserstein (W.) barycenters. Optimal transport metrics, such as the Wasserstein distance, allow incorporating semantic side information such as word embeddings. Using W. barycenters to find the consensus between models allows us to balance confidence and semantics in finding the agreement between the models. We show applications of Wasserstein ensembling in attribute-based classification, multilabel learning and image captioning generation. These results show that the W. ensembling is a viable alternative to the basic geometric or arithmetic mean ensembling.

연구 동기 및 목표

• 클래스 간 의미 관계를 忽시하는 표준 모델 앙상블 방법(산술 평균 및 기하 평균)의 한계를 해결한다.
• 의미적 보조 정보(예: 단어 임베딩 또는 클래스 유사도 행렬 등)를 모델 앙상블에 통합하여 공감대 도출을 향상시키는 방법을 제안한다.
• 워셔스타인 거리가 메트릭 공간에서 분포를 비교할 수 있는 능력을 활용하여, 서로 다른 레이블 세트를 가진 모델들 간의 효과적인 앙상블을 가능하게 한다.
• 이미지 캡셔닝 및 다중라벨 분류와 같이 의미 일관성이 요구되는 작업에서, 의미적으로 정확하고 다양한, 파라프라제된 출력을 장려함으로써 성능을 향상시킨다.

제안 방법

• 각 클래스가 사전 학습된 임베딩 공간(예: GloVe) 내의 벡터와 연결된 레이블 공간 위의 이산 확률 측도로 모델 예측을 표현한다.
• 의미 유사도(예: 단어 임베딩 간余弦 거리)를 사용하여 레이블 공간에 기본 거리 $ C $ 를 정의함으로써 클래스 간 관계를 인코딩한다.
• 엔트로피 정규화와 싱크호른 알고리즘을 활용해 효율적인 최적화를 수행함으로써, 다수의 모델 예측의 워셔스타인 바리센터를 계산한다.
• 바리센터를 최종 앙상블 예측으로 사용하며, 이는 모델 간의 신뢰도 균형과 레이블 공간 내 의미적 근접도를 균형 잡는다.
• 바리센터 계산을 출력 구조에 맞게 적응시켜 다중분류, 다중라벨, 시퀀스 생성 작업에 적용한다(예: 캡셔닝에서의 top-k 빔 서치).
• 과도한 확산을 방지하기 위해 동의어 기반 유사도 행렬 $ K $ 를 도입하여 이웃성 크기를 제한한다.

실험 결과

연구 질문

• RQ1 워셔스타인 바리센터는 단어 임베딩과 같은 의미적 보조 정보를 통합함으로써 모델 앙상블을 향상시킬 수 있는가?
• RQ2 다중라벨 및 다중분류 작업에서 워셔스타인 앙상블은 산술 평균 및 기하 평균 앙상블과 비교해 정확도 및 강건성 측면에서 어떻게 다른가?
• RQ3 바리센터 방법은 이미지 캡셔닝과 같은 출력에서 의미 유사도를 어느 정도 유지하는가?
• RQ4 의미적 구조가 유지되는 조건에서, 레이블 편향 또는 뒤섞인 예측에 대해 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 의미 품질을 희생시키지 않고도 바리센터 접근법이 생성된 시퀀스(예: 파라프라제된 캡셔닝)의 다양성을 증진시킬 수 있는가?

주요 결과

• COCO 이미지 캡셔닝 벤치마크에서, 워셔스타인 바리센터는 top-k 빔 서치를 사용해 CIDEr 점수 1.091과 SPICE 점수 0.209를 기록했으며, 높은 엔트로피(6.94)와 안정적인 WMD(0.198)를 보이며 의미적으로 유사하지만 다양한 출력을 생성함을 시사한다.
• 엔트로피가 증가함에 따라 워셔스타인 바리센터는 안정적인 WMD 점수를 유지했으며, 산술 평균 및 기하 평균과 달리 파라프라제화 및 의미적 이탈에 강건함을 보였다. 반면 산술 평균 및 기하 평균은 CIDEr 및 SPICE 점수가 악화됨을 확인했다.
• MS-COCO에서의 인간 평가 결과, 워셔스타인 바리센터는 산술 및 기하 평균 앙상블을 모두 앞섰으며, MTurker의 34%가 정확성 측면에서, 32%가 구체성 측면에서 이를 최고의 캡셔닝으로 선택했다.
• 의미적 페르터베이션에 대해 워셔스타인 바리센터는 뛰어난 강건성을 보였다: 모델 예측이 의미 클러스터 내에서 뒤섞여도 바리센터는 더 나은 복구 성능을 보였으며, 산술 평균 및 기하 평균은 성능 저하가 심각하게 나타났다.
• 동의어 기반 유사도 행렬 $ K $ 의 사용은 확산 효과를 제한하여 의미 있는 구조를 유지하고, 바리센터가 균일 분포로 붕괴되는 것을 방지했다.
• 다중라벨 분류 작업에서 워셔스타인 바리센터는 신뢰도와 의미 일관성을 효과적으로 균형 잡으며, 특히 불균형 설정에서 정확도 향상을 보였다.