[논문 리뷰] From Multimodal to Unimodal Attention in Transformers using Knowledge Distillation

Dhruv Agarwal, Tanay Agrawal외 2명|arXiv (Cornell University)|2021. 10. 15.

Topic Modeling참고 문헌 27인용 수 5

한 줄 요약

이 논문은 다중모odal 사전학습 모델에서 단일모달 추론을 가능하게 하기 위해 트랜스포머에 지식 정복을 도입하며, 대비 표현 정복(CRD)과 주의 맵에서의 엔트로피 정복(EDAM)을 사용한다. 최적의 구성은 SOTA 정확도를 3% 향상시키고, 파라미터를 2.5배 줄이며, 추론 시간을 22% 감소시켜, 테스트 시에 오직 영상 모달만을 사용할 때도 감정 인식 성능을 유지한다.

ABSTRACT

Multimodal Deep Learning has garnered much interest, and transformers have triggered novel approaches, thanks to the cross-attention mechanism. Here we propose an approach to deal with two key existing challenges: the high computational resource demanded and the issue of missing modalities. We introduce for the first time the concept of knowledge distillation in transformers to use only one modality at inference time. We report a full study analyzing multiple student-teacher configurations, levels at which distillation is applied, and different methodologies. With the best configuration, we improved the state-of-the-art accuracy by 3%, we reduced the number of parameters by 2.5 times and the inference time by 22%. Such performance-computation tradeoff can be exploited in many applications and we aim at opening a new research area where the deployment of complex models with limited resources is demanded.

연구 동기 및 목표

• 다중모달 트랜스포머에서 높은 계산 비용과 모달 누락 문제를 해결한다.
• 다중모달 교사에서 단일모달 학생으로 지식을 정복함으로써 효율적인 단일모달 추론을 가능하게 한다.
• 성능을 유지하면서 모델 복잡성을 줄이기 위해 최적의 정복 수준과 방법을 탐색한다.
• 자원 제약 조건 하에서 복잡한 다중모달 모델을 구현하는 데 새로운 연구 방향을 설정한다.
• 주의 맵에서의 정복 효과를 입증하고, CRD와 EDAM 간의 지식 전달 성능를 비교한다.

제안 방법

• 다중모달 교차주의 트랜스포머(교사)에서 단일모달 자기주의 트랜스포머(학생)로 지식 정복을 적용한다.
• 중간 특징 수준, 특히 주의 맵에서 지식을 전달하기 위해 대비 표현 정복(CRD)을 사용한다.
• 주의 맵에서의 엔트로피 정복(EDAM)을 도입하여 주의 패턴을 직접 전달하기 위해 교차 엔트로피 손실을 주의 맵에 적용한다.
• 교사(교차주의)와 학생(자기주의) 주의 맵 간 차원 불일치 문제를 해결하기 위해 두 가지 전략을 구현한다: 다운샘플링(EDAM-S↓)과 업샘플링(EDAM-T↑).
• 학생 네트워크를 여러 수준에서 정복 손실을 사용하여 훈련한다: 초기, 중간, 후기 레이어, 선형 레이어 및 주의 맵 표현 포함.
• 다양한 교사 구성 구성을 평가한다: 완전한 9-트랜스포머 네트워크와 개별 모달 브랜치(영상, 음성, 언어)

실험 결과

연구 질문

• RQ1 지식 정복이 다중모달 지식을 단일모달 학생 트랜스포머로 효과적으로 전달하면서도 높은 정확도를 유지할 수 있는가?
• RQ2 트랜스포머 아키텍처의 어느 레이어에서 지식 정복이 단일모달 추론에 가장 효과적인가?
• RQ3 CRD와 EDAM 간의 다양한 정복 방법은 성능과 계산 비용 측면에서 어떻게 비교되는가?
• RQ4 교사 아키텍처의 선택(예: 전체 네트워크 대비 개별 브랜치)이 정복 결과에 상당한 영향을 미치는가?
• RQ5 주의 맵에서의 정복이 교사와 학생 간 주의 메커니즘의 차이(교차주의 대 자기주의) 문제를 극복할 수 있는가?

주요 결과

• 최적의 구성은 테스트 시에 오직 영상 모달만을 사용할 때도 감정 인식에서 SOTA 정확도를 3% 향상시켰다.
• 학생 모델은 전체 다중모달 교사 대비 파라미터를 2.5배 줄였고, 추론 시간을 22% 감소시켰다.
• 주의 맵에서의 엔트로피 정복(EDAM)이 CRD를 능가하여 가장 높은 정확도와 F1 점수를 기록했으며, 계산 오버헤드도 낮았다.
• 주의 맵을 다운샘플링하는 것(EDAM-S↓)이 업샘플링하는 것보다 더 잘 작동했으며, 과도한 정보 손실 없이 더 유의미한 특징을 유지했다.
• 특히 주의 맵에서의 정복이 출력 또는 초기 레이어에서의 정복보다 더 좋은 결과를 냈으며, 중간 표현이 지식 전달에 더 정보가 많다는 것을 확인했다.
• 개별 모달 브랜치를 교사로 사용하는 것이 전체 교사 네트워크를 사용할 때와 성능에 큰 영향을 주지 않았으며, 지식 전달이 모달 간 독립적임을 시사한다.