[논문 리뷰] Multi-Task Variational Information Bottleneck

Weizhu Qian, Bowei Chen외 3명|arXiv (Cornell University)|2020. 07. 01.

Adversarial Robustness in Machine Learning참고 문헌 62인용 수 4

한 줄 요약

이 논문은 다중 작업 학습을 위한 강건하고 분리된 잠재 표현을 학습하기 위해 변분 추론과 작업별 불확실성 가중치를 통합한 다중 작업 변분 정보 복잡도(MLTIB) 모델을 제안한다. 압축되고 작업에 관련된 표현과 적응형 손실 가중치를 함께 최적화함으로써, MTVIB는 세 가지 벤치마크 데이터셋에서 상태기준 성능을 달성하며, 적대적 공격에 대해 뛰어난 강건성을 보여준다.

ABSTRACT

Multi-task learning (MTL) is an important subject in machine learning and artificial intelligence. Its applications to computer vision, signal processing, and speech recognition are ubiquitous. Although this subject has attracted considerable attention recently, the performance and robustness of the existing models to different tasks have not been well balanced. This article proposes an MTL model based on the architecture of the variational information bottleneck (VIB), which can provide a more effective latent representation of the input features for the downstream tasks. Extensive observations on three public data sets under adversarial attacks show that the proposed model is competitive to the state-of-the-art algorithms concerning the prediction accuracy. Experimental results suggest that combining the VIB and the task-dependent uncertainties is a very effective way to abstract valid information from the input features for accomplishing multiple tasks.

연구 동기 및 목표

• 기존의 다중 작업 학습(MTL) 모델에서 여러 작업 간 성능 및 강건성의 불균형을 해결하기 위해.
• 변분 정보 복잡도(VIB)와 작업별 불확실성 추정을 융합하여 잠재 표현의 품질을 향상시키기 위해.
• 가능도 기반 불확실성 가중치를 사용하여 작업 간 손실 기여도를 동적으로 균형 맞추기 위해, 수동 또는 고정된 하이퍼파rameter 조정을 피하기 위해.
• 다중 후행 작업에서 높은 예측 정확도를 유지하면서도 적대적 공격에 대한 모델 강건성을 향상시키기 위해.
• 정보 복잡도 원리를 사용하여 다중 작업 학습을 제약 조건이 있는 다목적 최적화 문제로 재정의하기 위해.

제안 방법

• 모델은 잠재 코드에 대한 사후 분포를 학습하기 위해 변분 추론 프레임워크를 사용하여, 정규화되고 노이즈에 강건한 표현을 가능하게 한다.
• 공유 인코더는 입력 특징을 잠재 분포로 매핑하고, 작업별 디코더는 각 후행 작업의 예측을 생성한다.
• 작업별 불확실성은 가능도 분포의 파라미터로 학습되어, 작업별 손실에 대한 자동적이고 적응형 가중치를 제공한다.
• 목적 함수는 정보 복잡도의 변분 근사값을 최소화하여, 입력과 잠재 코드 간의 상호정보량과, 잠재 코드와 출력 간의 상호정보량을 균형 잡는다.
• 전체 손실는 학습된 불확실성에서 유도된 가중치를 가진 작업별 교차 엔트로피 손실의 가중합으로 구성되며, 확률적 경사 하강법을 사용해 엔드 투 엔드로 훈련된다.
• 모델은 다양한 편향 수준(ε)을 가진 적대적 공격 하에서 평가되어 강건성과 일반화 능력이 검증된다.

실험 결과

연구 질문

• RQ1 변분 정보 복잡도 프레임워크는 다중 작업 학습에서 공유 잠재 표현의 품질과 강건성을 향상시킬 수 있는가?
• RQ2 작업별 불확실성 추정을 통해 더 나은 동적 손실 가중치와 작업 간 성능 균형이 달성되는가?
• RQ3 MTVIB 모델은 적대적 공격 하에서 상태기준 MTL 모델과 비교해 정확성과 강건성 측면에서 어떻게 성능을 내는가?
• RQ4 VIB를 통해 학습된 분리된 잠재 표현은 여러 작업 간 일반화 능력을 얼마나 향상시키는가?
• RQ5 표현 압축과 손실 가중치 최적화를 동시에 최적화함으로써 다중 작업 벤치마크에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• MultiMNIST 데이터셋에서 MTVIB는 ε=0.05일 때 93.7%의 테스트 정확도를 기록했으며, STL(87.1%)와 STVIB(86.7%)를 능가했고, 다른 MTL 기준 모델과 유사하거나 이를 초월했다.
• MultiFashion 데이터셋에서 MTVIB는 ε=0.05일 때 58.2%의 정확도를 기록했으며, STL(59.1%), STVIB(60.1%), GS(57.1%)를 뛰어나는 강건성을 보였다.
• MTFL 데이터셋에서 MTVIB는 작업 1에 대해 ε=0.05일 때 34.4%의 정확도를 기록했고, 작업 2에 대해 ε=0.30일 때 22.6%의 정확도를 기록하여 고편향 공격에 대한 뛰어난 내성성을 입증했다.
• MTVIB는 모든 데이터셋과 적대적 수준에서 최고 성능 모델들(예: UWL, GS)을 일관되게 능가하거나 동등하게 유지했으며, MTFL에서 가장 높은 정확도(ε=0.05일 때 작업 1 기준 34.4%)를 기록했다.
• 다른 MTL 모델 대비 증가하는 적대적 노이즈(ε) 조건에서도 더 높은 정확도를 유지하여, VIB와 불확실성 가중치를 통한 효과적인 정규화를 입증했다.
• 제거 실험을 통해 VIB와 불확실성 가중치를 결합하면 개별적으로 사용할 경우보다 더 뛰어난 성능을 내는 것으로 확인되어, 두 메커니즘 간의 상호보완성이 검증되었다.