[논문 리뷰] Farewell to Mutual Information: Variational Distillation for Cross-Modal Person Re-Identification

Xudong Tian, Zhizhong Zhang외 4명|arXiv (Cornell University)|2021. 04. 07.

Video Surveillance and Tracking Methods참고 문헌 43인용 수 11

한 줄 요약

이 논문은 변분 추론을 사용하여 상호정보량 추정을 피하는 변분 자기-정규화(Variational Self-Distillation, VSD)를 제안한다. 이는 표현 학습을 분석적으로 최적화하는 새로운 정보 버블릿 방법으로, VSD, 변분 상호-정규화(Variational Cross-Distillation, VCD), 변분 상호-학습(Variational Mutual-Learning, VML)을 통해 임무 관련 정보를 유지하고 뷰별 노이즈를 제거함으로써 교차 모odal 인식에서 최신 기준 성능을 달성한다. 이는 최소한의 계산 비용과 강력한 이론적 기반을 바탕으로 한다.

ABSTRACT

The Information Bottleneck (IB) provides an information theoretic principle for representation learning, by retaining all information relevant for predicting label while minimizing the redundancy. Though IB principle has been applied to a wide range of applications, its optimization remains a challenging problem which heavily relies on the accurate estimation of mutual information. In this paper, we present a new strategy, Variational Self-Distillation (VSD), which provides a scalable, flexible and analytic solution to essentially fitting the mutual information but without explicitly estimating it. Under rigorously theoretical guarantee, VSD enables the IB to grasp the intrinsic correlation between representation and label for supervised training. Furthermore, by extending VSD to multi-view learning, we introduce two other strategies, Variational Cross-Distillation (VCD) and Variational Mutual-Learning (VML), which significantly improve the robustness of representation to view-changes by eliminating view-specific and task-irrelevant information. To verify our theoretically grounded strategies, we apply our approaches to cross-modal person Re-ID, and conduct extensive experiments, where the superior performance against state-of-the-art methods are demonstrated. Our intriguing findings highlight the need to rethink the way to estimate mutual

연구 동기 및 목표

• 정보 버블릿(IB) 최적화에서 오랫동안 해결되지 않은 상호정보량 추정 문제를 다루어 표현 학습의 확장성과 안정성을 제한하는 문제를 해결한다.
• IB 기반 모델에서 명시적 상호정보량 추정의 대안으로서 이론적으로 타당하고 확장 가능하며 분석적인 방법을 개발한다.
• 강한 사전 지식 없이도 뷰 변화에 대한 표현의 강건성을 향상시키기 위해 뷰별로 특화된 정보와 임무와 관련 없는 정보를 제거한다.
• 표현의 충분성과 일관성을 동시에 최적화하여 교차 모달 인식에서 뛰어난 성능을 달성한다.
• 변분 추론 기반 정규화를 사용할 경우 명시적 상호정보량 추정이 효과적인 표현 학습을 위해 필수적인 것은 아님을 입증한다.

제안 방법

• 변분 추론을 사용하여 IB 목표함수를 분석적으로 재구성함으로써 직접적인 상호정보량 추정을 피하는 변분 자기-정규화(VSD)를 제안한다.
• 자기-정규화 메커니즘을 도입하여 모델이 자신의 표현에서 레이블 관련 정보를 재구성하도록 학습함으로써, 임무 관련 특징의 유지 보장을 확보한다.
• 다중 뷰 학습에 대해 변분 상호-정규화(VCD)를 통해 뷰 간 표현을 정렬함으로써 뷰별 정보를 최소화한다.
• 대칭적인 방식으로 모odal 간 상호 지식 공유를 장려함으로써 일관성을 향상시키는 변분 상호-학습(VML)을 도입한다.
• VSD, VCD, VML 기반의 훈련 손실을 공동 최적화하여 상호 보완적으로 작용함으로써 표현의 충분성과 일관성을 동시에 향상시킨다.
• 단지 세 개의 완전 연결 층으로 구성된 경량 IB 아키텍처를 사용하여 표준 모델 대비 추가 계산 비용을 최소화한다(추가 인fer 시간 1.09배, 3.04M 추가 파라미터).

실험 결과

연구 질문

• RQ1 표현 학습에서 명시적 추정 없이도 상호정보량을 효과적으로 최적화할 수 있는가?
• RQ2 변분 추론이 정보 버블릿 프레임워크에서 상호정보량 추정의 대안으로서 확장 가능하고 분석적인 방법이 될 수 있는가?
• RQ3 강한 사전 지식 없이도 다중 모달 학습에서 뷰 변화에 대한 표현의 강건성을 어떻게 향상시킬 수 있는가?
• RQ4 자기-정규화와 상호-정규화 메커니즘이 교차 모달 인식에서 특징의 충분성과 일관성을 얼마나 향상시킬 수 있는가?
• RQ5 뷰별로 특화된 정보를 제거하면 교차 모달 매칭 작업에서 더 나은 일반화와 성능을 달성할 수 있는가?

주요 결과

• 제안된 VSD 방법은 교차 모달 인식 벤치마크에서 최신 기준 성능을 달성하며, 기존 최신 기술(SOTA)을 능가한다.
• VSD는 t-SNE를 통한 임베딩 공간 시각화 결과에서, 임무 관련 정보를 충분히 유지하면서도 임무와 관련 없는 간섭 요소를 효과적으로 억제함을 보여준다.
• VSD, VCD, VML의 공동 적용은 모달 간에 매우 높은 일관성을 가진 표현을 생성하며, 기존 IB와 달리 임베딩 공간에서 명확하고 조밀한 클러스터를 형성한다.
• 이 방법은 최소한의 계산 오버헤드(훈련 시간 1.09배, 추가 파라미터 3.04M)를 유발하며, 기존 IB 모델의 상호정보량 추정기(1.26배, 35.71M 파라미터)보다 훨씬 낮은 비용을 기록한다.
• t-SNE 투영 결과는 VSD와 VCD가 뷰별 정보를 효과적으로 제거하여 동일한 신원에 대해 서로 다른 모달 간에 정렬되고 구분 가능한 클러스터를 형성함을 확인한다.
• 그림 7에 나타낸 바와 같이 상호정보량 피팅 과정은 훈련 중 표현의 예측 정보가 레이블의 진짜 정보에 점차 수렴함을 보여주며, 이는 제안된 방법의 이론적 수렴성을 검증한다.