[논문 리뷰] Deep Multimodal Fusion by Channel Exchanging

Yikai Wang, Wenbing Huang외 4명|arXiv (Cornell University)|2020. 11. 10.

Domain Adaptation and Few-Shot Learning인용 수 118

한 줄 요약

Channel-Exchanging-Network (CEN)을 도입한 매개변수 없는 멀티모달 융합 방법으로, BN 스케일링 팩터에 의해 모달별 하위 네트워크 간 채널을 교환하며, 모달 간 강한 융합을 달성하는 동시에 intra-modal 처리 유지.

ABSTRACT

Deep multimodal fusion by using multiple sources of data for classification or regression has exhibited a clear advantage over the unimodal counterpart on various applications. Yet, current methods including aggregation-based and alignment-based fusion are still inadequate in balancing the trade-off between inter-modal fusion and intra-modal processing, incurring a bottleneck of performance improvement. To this end, this paper proposes Channel-Exchanging-Network (CEN), a parameter-free multimodal fusion framework that dynamically exchanges channels between sub-networks of different modalities. Specifically, the channel exchanging process is self-guided by individual channel importance that is measured by the magnitude of Batch-Normalization (BN) scaling factor during training. The validity of such exchanging process is also guaranteed by sharing convolutional filters yet keeping separate BN layers across modalities, which, as an add-on benefit, allows our multimodal architecture to be almost as compact as a unimodal network. Extensive experiments on semantic segmentation via RGB-D data and image translation through multi-domain input verify the effectiveness of our CEN compared to current state-of-the-art methods. Detailed ablation studies have also been carried out, which provably affirm the advantage of each component we propose. Our code is available at https://github.com/yikaiw/CEN.

연구 동기 및 목표

• 모달 간 융합과 모달 내 처리를 균형 있게 하여 멀티모달 융합의 향상을 촉진한다.
• BN 스케일링 팩터에 의해 가이드되는 모달리티 하위 네트워크 간 매개변수 없는 채널 교환 메커니즘을 제안한다.
• BN 층을 제외한 대부분의 네트워크 파라미터를 공유하여 모델을 간결하게 유지하고 모달 특유의 BN 분석을 가능하게 한다.
• 광범위한 실험을 통해 RGB-D 시맨틱 세그멘테이션과 다중 도메인 이미지 변환에서 CEN의 효과를 입증한다.

제안 방법

• M개의 모달리티 하위 네트워크가 합성곱 필터를 공유하지만 독립적인 BN 계층을 가지는 다중 모달 네트워크를 정의한다.
• 하위 모달리티의 낮은 중요도 채널(낮은 BN 감마)을 다른 모달리티의 해당 채널의 평균으로 교체하는 채널 교환을 도입한다(Equation 6).
• BN 스케일링 팩터에 대한 L1 희소성 페널티를 사용하여 교환될 채널을 발견하고 제약한다(Equation 4).
• BN 층을 제외한 모든 파라미터를 하위 네트워크 간 공유하여 공통 모달 정보는 모델링하고 모달 특유의 채널 중요도는 보존한다.
• 정렬 기반 융합에서처럼 합이 1이 되도록 소프트맥스 제약을 가진 모달 웨이트 alpha_m을 학습하여 앙상블을 훈련한다.
• 감마가 0에 가까워지는 채널이 중복 가능성이 높고 교환에 이익이 있다는 이론적 근거(Theorem 1)을 제공한다.

실험 결과

연구 질문

• RQ1 BN 스케일링 팩터에 의해 가이드되는 채널 수준의 교환이 모달 간 융합을 개선하고 모달 내 전파를 희생하지 않을 수 있는가?
• RQ2 개인 BN 층을 유지하면서 모달 간 합성곱 필터를 공유하는 것이 컴팩트하면서도 효과적인 멀티모달 모델을 제공하는가?
• RQ3 제안된 채널 교환이 작업(RGB-D 분할 및 다중 도메인 이미지 변환)과 데이터셋에서 견고한가?
• RQ4 BN 스케일에 대한 L1 정규화가 교환 가능한 채널을 효과적으로 식별하고 성능을 향상시키는가?
• RQ5 공정하고 매개변수 효율적인 설정에서 CEN이 전통적인 집계 기반 및 정렬 기반 융합 방법과 어떻게 비교되는가?

주요 결과

• CEN은 NYUDv2 및 SUN RGB-D에서 집계 기반 및 정합 기반 베이스라인에 비해 RGB-D 시맨틱 세그멘테이션을 크게 향상시킨다.
• 개인 BN 층을 갖춘 합성곱 필터 공유가 이득을 주는 반면, 공용 BN은 모달 간 차이로 인해 성능에 악영향을 준다.
• 희소성을 가진 방향성 채널 교환은 IoU 대폭 향상과 비교 교환 baselines 대비 앙상블 성능 향상을 가져온다.
• 일부 채널(예: 절반)만 교환하는 것이 모달 내 전파를 유지하고 모든 채널 교환보다 성능이 좋다.
• 각 구성요소(채널 교환, BN 기반 중요도, 파라미터 공유)가 성능 향상에 기여한다는 분석이 있다.
• 이미지 변환 작업(Taskonomy 데이터)에서 CEN은 다중 모달 조합에서 베이스라인보다 더 낮은 FID/KID 점수를 달성한다.