[논문 리뷰] Removing Bias in Multi-modal Classifiers: Regularization by Maximizing Functional Entropies

Itai Gat, Idan Schwartz외 2명|arXiv (Cornell University)|2020. 10. 21.

Multimodal Machine Learning Applications인용 수 49

한 줄 요약

논문은 기능 엔트로피를 기반으로 한 정규화 항을 제시하며, log-Sobolev bound로 한정되어 다중 모달의 기여를 균형 있게 하고 다중 모달 분류기에서 편향을 줄이며, VQA-CPv2와 SocialIQ에서 최첨단 성능을 달성하고 Colored MNIST에서도 좋은 성능을 발휘한다.

ABSTRACT

Many recent datasets contain a variety of different data modalities, for instance, image, question, and answer data in visual question answering (VQA). When training deep net classifiers on those multi-modal datasets, the modalities get exploited at different scales, i.e., some modalities can more easily contribute to the classification results than others. This is suboptimal because the classifier is inherently biased towards a subset of the modalities. To alleviate this shortcoming, we propose a novel regularization term based on the functional entropy. Intuitively, this term encourages to balance the contribution of each modality to the classification result. However, regularization with the functional entropy is challenging. To address this, we develop a method based on the log-Sobolev inequality, which bounds the functional entropy with the functional-Fisher-information. Intuitively, this maximizes the amount of information that the modalities contribute. On the two challenging multi-modal datasets VQA-CPv2 and SocialIQ, we obtain state-of-the-art results while more uniformly exploiting the modalities. In addition, we demonstrate the efficacy of our method on Colored MNIST.

연구 동기 및 목표

• 한 모달리티가 의사결정을 지배하는 다중 모달 분류기에서의 편향 문제에 동기를 부여하고 형식화한다.
• 모달리티 기여를 균형 있게 하도록 기능 엔트로피를 기반으로 한 정규화 항을 제안한다.
• 기능적 Fisher 정보와 연결된 log-Sobolev 부등식을 사용하여 실용적으로 계산 가능한 상한을 도출한다.
• VQA-CPv2, SocialIQ, Colored MNIST를 포함한 다양한 다중 모달 데이터셋에서 효과를 입증한다.

제안 방법

• 다중 모달 입력에 대한 기능 엔트로피를 정의하고 이를 학습 예제별 가우시안 섭동 모델과 관련시킨다.
• log-Sobolev 부등식을 사용하여 기능 엔트로피를 기능적 Fisher 정보의 상한으로 한정한다.
• 람다로 제어되는 역 Fisher 정보 기반 항과 교차 엔트로피 손실을 결합한 정규화된 목적함수를 형식화한다.
• 다중 모달을 처리하기 위해 텐서화(tensorization)로 접근법을 확장하고 모달리티별로 실현 가능한 근사를 제공한다.
• 엔트로피 기반 정규화를 Poincaré 부등식을 통한 분산 기반 정규화와 선택적으로 관련지을 수 있다.

실험 결과

연구 질문

• RQ1 기능 엔트로피 기반 정규화가 다중 모달 분류기에서 모든 모달의 균형 잡힌 활용을 촉진할 수 있는가?
• RQ2 편향된 다중 모달 데이터셋에서 (bound를 통한) 기능 엔트로피 최대화가 일반화 성능을 향상시키는가?
• RQ3 VQA-CPv2, SocialIQ, Colored MNIST와 같은 작업에서 텐서화된(모달리티별) 정규화가 모델의 강건성에 미치는 영향은 무엇인가?

주요 결과

• 엔트로피 기반 정규화가 이전 방법들과 비교하여 SocialIQ와 VQA-CPv2에서 최첨단 성능을 달성한다.
• 정규화는 모달 정보의 균형을 개선하고 단일 모달 의존도를 줄인다(예: Colored MNIST의 색상, VQA 작업의 언어 편향).
• Colored MNIST에서 기능적 Fisher 정보 정규화를 도입하면 모델이 색상뿐만 아니라 모양 정보를 함께 활용하도록 돕는다.
• VQA-CPv2에서 이 방법은 54.55% 정확도(이전 최첨단 52.05%에서 개선), SocialIQ에서 68.53%에 도달(기준선 64.82% 대비).
• TFI-based 정규화는 달성 가능한 최대 정확도와 수렴 정확도 간의 격차를 줄여 더 나은 일반화를 시사한다.