[논문 리뷰] Redundancy Reduction Twins Network: A Training framework for Multi-output Emotion Regression

Xin Jing, Meishu Song외 3명|arXiv (Cornell University)|2022. 06. 18.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 다중 출력 정서 회귀에서 특징의 중복을 줄이기 위해, 동일 샘플의 증강된 시각들 간의 임베딩 간 상관관계를 최소화함으로써 훈련 프레임워크인 Redundancy Reduction Twins Network(RRTN)을 제안한다. Barlow Twins 손실과 동적으로 손실 가중치를 조정하는 새로운 Restrained Uncertainty Weight Loss(RUWL)를 사용한다. 이 방법은 기존의 CNN14에 비해 ExVo 개발 세트에서 4.8% 상대적 향상된 0.678의 일致성 상관계수( CCC )를 달성한다.

ABSTRACT

In this paper, we propose the Redundancy Reduction Twins Network (RRTN), a redundancy reduction training framework that minimizes redundancy by measuring the cross-correlation matrix between the outputs of the same network fed with distorted versions of a sample and bringing it as close to the identity matrix as possible. RRTN also applies a new loss function, the Barlow Twins loss function, to help maximize the similarity of representations obtained from different distorted versions of a sample. However, as the distribution of losses can cause performance fluctuations in the network, we also propose the use of a Restrained Uncertainty Weight Loss (RUWL) or joint training to identify the best weights for the loss function. Our best approach on CNN14 with the proposed methodology obtains a CCC over emotion regression of 0.678 on the ExVo Multi-task dev set, a 4.8% increase over a vanilla CNN 14 CCC of 0.647, which achieves a significant difference at the 95% confidence interval (2-tailed).

연구 동기 및 목표

• 다중 출력 정서 회귀 모델에서 특징 중복을 해결하여 일반화 능력과 성능을 향상시키기.
• 모델 복잡도를 증가시키지 않고 데이터 증강을 활용해 표현 학습을 향상시키는 훈련 프레임워크 개발.
• 훈련 안정성과 수렴 성능 향상을 위한 새로운 손실 가중 전략 도입.
• 대규모 음성 돌발 정서 데이터셋(Hume-VB)에서 중복 감소와 공동 손실 최적화의 효과를 입증하기.

제안 방법

• SpecAugment를 통해 각 입력 샘플에 대해 두 개의 왜곡된 시각을 생성하는 데이터 증강 적용.
• 원본 및 증강된 샘플을 동일한 인코더에 입력하여 회귀를 위한 표현과 대비 학습을 위한 임베딩 생성.
• 임베딩 간 상관관계 행렬을 항등행렬에 가능한 한 가깝게 만들기 위해 중복을 줄임.
• 동일 샘플의 서로 다른 증강에 대해 임베딩 유사도를 최대화하기 위해 Barlow Twins 손실 함수 사용.
• 합의 총합을 유지하면서 손실 가중치를 동적으로 조정하는 Restrained Uncertainty Weight Loss(RUWL) 전략 구현.
• Barlow Twins 손실과 정서 회귀 손실의 가중 합으로 네트워크를 훈련하며, RUWL이 이들 사이의 트레이드오프를 최적화함.

실험 결과

연구 질문

• RQ1 학습된 표현에서의 중복 감소가 다중 출력 정서 회귀 작업의 성능 향상에 기여하는가?
• RQ2 음성 기반 정서 회귀에 Barlow Twins 손실을 적용했을 때 중복 감소에 얼마나 효과적인가?
• RQ3 RUWL을 통한 동적 손실 가중치 조정이 고정 또는 비가중 손실 조합에 비해 더 안정적이고 성능 향상에 기여하는가?
• RQ4 RRTN 프레임워크는 특히 CNN14와 같은 깊은 네트워크에서 다양한 백본 아키텍처에서 어떻게 성능을 발휘하는가?
• RQ5 제안된 프레임워크는 ExVo 다중 작업 정서 회귀 벤치마크에서 표준 훈련 기준보다 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• RRTN 프레임워크는 CNN14를 사용해 ExVo 다중 작업 개발 세트에서 0.678의 일치성 상관계수( CCC )를 달성했으며, 기존의 순수 CNN14 기준(0.647)에 비해 4.8% 상대적 향상이 있었다.
• 유의미한 향상은 95% 신뢰구간에서 통계적으로 유의미했으며, 중복 감소 전략의 효과를 확인했다.
• RRTN 프레임워크는 다양한 백본 모델에서 일관되게 성능 향상을 이뤘으며, CNN14는 깊이 있는 아키텍처 덕분에 가장 큰 성과(4.8%)를 기록했고, CNN10는 2% 향상에 그쳤다.
• RUWL 손실 전략은 표준 RRTN 훈련에 비해 약간이지만 일관된 성능 향상을 보였으며, 동적 손실 가중치 조정이 안정성과 성능 향상에 기여함을 시사했다.
• 상관관계 최소화 전략이 성능 향상의 주요 원동력이었고, 손실 가중치 조정 메커니즘은 보조적이지만 유익한 역할을 했다.
• 단일 선형 프로젝터 레이어만 추가되었기 때문에 추가적인 파라미터가 거의 없었으며, 경량이면서도 효과적인 훈련 프레임워크임을 입증했다.