[논문 리뷰] An Efficient Approach to Informative Feature Extraction from Multimodal Data

Lichen Wang, Jiaxiang Wu외 5명|arXiv (Cornell University)|2018. 11. 22.

Music and Audio Processing참고 문헌 30인용 수 8

한 줄 요약

이 논문은 Hirschfeld-Gebelein-Rényi (HGR) 최대상관관계의 엄격한 화이트닝 제약 조건을 부드러운 정규화 항으로 대체함으로써 효율적이고 안정적인 다중모态 특징 추출을 위한 새로운 프레임워크인 Soft-HGR를 제안한다. 이는 확장 가능한 최적화를 가능하게 하며, 레이블 부족 또는 모달리티가 누락된 경우를 포함한 지도 및 준지도 학습 설정에서 뛰어난 성능을 달성한다. 이는 HGR의 기하학적 성질을 유지하면서도 분류 성능를 향상시킴으로써 달성된다.

ABSTRACT

One primary focus in multimodal feature extraction is to find the representations of individual modalities that are maximally correlated. As a well-known measure of dependence, the Hirschfeld-Gebelein-Rényi (HGR) maximal correlation becomes an appealing objective because of its operational meaning and desirable properties. However, the strict whitening constraints formalized in the HGR maximal correlation limit its application. To address this problem, this paper proposes Soft-HGR, a novel framework to extract informative features from multiple data modalities. Specifically, our framework prevents the "hard" whitening constraints, while simultaneously preserving the same feature geometry as in the HGR maximal correlation. The objective of Soft-HGR is straightforward, only involving two inner products, which guarantees the efficiency and stability in optimization. We further generalize the framework to handle more than two modalities and missing modalities. When labels are partially available, we enhance the discriminative power of the feature representations by making a semi-supervised adaptation. Empirical evaluation implies that our approach learns more informative feature mappings and is more efficient to optimize.

연구 동기 및 목표

• 다중모달 특징 학습에서 엄격한 화이트닝 제약 조건으로 인해 발생하는 높은 계산 비용과 수치적 불안정성을 해결하기 위해.
• 모달리티 간 상관관계가 약하거나 공유 정보가 제한적인 경우 특징 표현의 분류 성능를 향상시키기 위해.
• HGR 기반 특징 추출을 두 개 이상의 모달리티와 누락된 모달리티를 처리할 수 있도록 일반화하기 위해.
• 레이블 정보를 특징 학습 목표에 통합하여 준지도 학습을 통합하기 위해.
• 다중모달 표현 학습을 위한 확장 가능하고 안정적이며 효율적인 최적화 프레임워크를 개발하기 위해.

제안 방법

• Soft-HGR는 HGR의 하드 화이트닝 제약 조건을 두 개의 내적(내적1: 특징 매핑 간, 내적2: 특징 공분산 간)을 기반으로 한 부드러운 정규화 항으로 대체한다.
• 목적 함수는 HGR와 동일한 특징 기하학을 유지하면서도 행렬 역행렬 또는 분해를 피함으로써 수치적 안정성과 효율성을 향상시킨다.
• 대칭적 공식화를 사용하여 목적 함수를 일반화함으로써 다중모달 설정으로 확장한다.
• 누락된 모달리티의 경우 데이터 가용성 여부를 나타내는 이진 플래그를 통합하여, 입력이 불완전하더라도 견고한 표현을 학습할 수 있도록 한다.
• 준지도 학습 설정에서는 목적 함수에 지도 학습 손실을 추가하며, 하이퍼파rameter λ는 비지도 상관관계와 지도 분류 간의 트레이드오프를 조절한다.
• 희소 특징을 처리하기 위해 Bi-Interaction 레이어를 갖는 딥 네ural 네트워크를 사용하며, 이후 평균 풀링과 소프트맥스 레이어를 거쳐 예측을 수행한다.

실험 결과

연구 질문

• RQ1 HGR 최대상관관계의 하드 화이트닝 제약 조건을 부드러운 정규화 방법으로 대체할 수 있을까? 이 경우 기하학적 충실도는 손상되지 않을까?
• RQ2 제안된 Soft-HGR 프레임워크는 HGR 기반 방법에 비해 최적화 안정성과 효율성이 뛰어나다고 할 수 있을까?
• RQ3 Soft-HGR는 두 개 이상의 모달리티로 일반화되고 실제 데이터에서 모달리티가 누락된 경우에도 효과적으로 작동할 수 있을까?
• RQ4 레이블 정보를 준지도 학습 방식으로 통합하면, 레이블이 부족한 상황에서 분류 성능 향상이 이루어질까?
• RQ5 데이터가 희소하거나 모달리티가 누락된 조건에서 Soft-HGR는 최신 기술(SOTA) 모델에 비해 정확도와 견고성 면에서 뛰어나다고 할 수 있을까?

주요 결과

• 레이블이 제한된 경우 준지도 학습 Soft-HGR는 모든 모델 중에서 가장 높은 음성 예측 정확도를 달성하며, 성능 향상이 뚜렷하다.
• Soft-HGR와 Deep CCA의 분류 성능는 유사하여, 두 모델이 동일한 특징 표현을 학습하고 있음을 시사한다.
• 비지도 모델인 Deep CCA와 Soft-HGR는 레이블이 극도로 부족할 때에만 원시 특징 대비 분류 성능 향상을 보이며, 否면 엔드 투 엔드 DNN보다 성능이 열 劣하다.
• 추천 시스템 작업에서 준지도 학습 Soft-HGR는 AUC 기준으로 모든 베이스라인(LR, FM, Deep FM, Neural FM)을 능가하며, 특히 레이블 부족 상황에서 두각을 나타낸다.
• Soft-HGR 손실의 가중치 λ를 0으로 줄일수록 준지도 학습 Soft-HGR의 AUC가 감소함을 확인하여, 비지도 목적이 성능 향상에 기여하고 있음을 입증한다.
• 행렬 역행렬 또는 분해가 필요 없기 때문에 최적화가 안정적이고 효율적이며, 고차원 특징에 대한 확장성도 유지를 한다.