[논문 리뷰] Multimodal Representation Learning via Maximization of Local Mutual Information

Ruizhi Liao, Daniel Moyer외 6명|arXiv (Cornell University)|2021. 03. 07.

Multimodal Machine Learning Applications참고 문헌 39인용 수 32

한 줄 요약

이 논문은 의료 영상 분류 작업의 성능을 햖थ기 위해 이미지 패치와 문장 수준의 텍스트 임베딩 간의 국소 상호정보(MI)를 최대화하는 다중모달 표현 학습 프레임워크를 제안한다. 신경망 분류기로 MI 추정을 활용하여 이미지 및 텍스트 인코더를 국소 시각적 특징과 해당 텍스트 기술과 일치하도록 훈련함으로써, 전역 MI 및 지도 학습 기반 베이스라인에 비해 의료 영상 벤치마크에서 최신 기술 수준의 성능을 달성한다. 특히 후속 작업에 대해 미세조정을 수행할 경우 성능 향상이 두드러진다.

ABSTRACT

We propose and demonstrate a representation learning approach by maximizing the mutual information between local features of images and text. The goal of this approach is to learn useful image representations by taking advantage of the rich information contained in the free text that describes the findings in the image. Our method trains image and text encoders by encouraging the resulting representations to exhibit high local mutual information. We make use of recent advances in mutual information estimation with neural network discriminators. We argue that the sum of local mutual information is typically a lower bound on the global mutual information. Our experimental results in the downstream image classification tasks demonstrate the advantages of using local features for image-text representation learning.

연구 동기 및 목표

• 자유형 영상 진단 보고서를 감독 신호로 활용하여 의료 영상에서 이미지 표현 학습을 향상시키기 위해.
• 전역 상호정보가 미세한 이미지-텍스트 정렬을 포착하지 못하는 한계를 보완하기 위해 국소 특징에 초점을 맞추기 위해.
• 이미지 영역을 그에 해당하는 텍스트 기술과 더 잘 정렬시켜 후속 분류 성능을 향상시키기 위한 방법을 개발하기 위해.
• 국소 MI 최대화가 전역 MI나 단순 지도 학습보다 더 영리하고 작업 적응형 표현을 생성함을 보여주기 위해.

제안 방법

• 영상 진단 보고서에서 추출한 문장 수준의 텍스트 특징과 국소 이미지 특징(예: 4×4×512 패치) 간의 상호정보(MI)를 최대화하는 방법을 제안한다.
• MINE 및 CPC 추정기로 안정성을 확보하기 위해 신경망 분류기를 사용하여 MI의 하한을 추정하고 최적화한다.
• 일치하는 이미지-텍스트 쌍과 셔플된 쌍에 대해 대비 목적을 최적화하여 이미지 및 텍스트 인코더를 함께 훈련한다.
• 주어진 문장과 가장 높은 MI를 가지는 이미지 패치를 선택하고 그 정렬을 최적화함으로써 국소 MI 최대화를 구현한다.
• 국소 MI에는 5층 블록의 ResNet을, 전역 MI에는 6층 블록의 ResNet을 사용한다. 임상 BERT를 텍스트 인코딩에 사용하고, 다층 퍼셉트론을 MI 식별에 사용한다.
• 후속 분류 작업에서 이미지 인코더를 미세조정하여, 고정된 또는 전역으로 정렬된 특징에 비해 성능 향상을 보였다.

실험 결과

연구 질문

• RQ1 이미지 패치와 문장 수준의 텍스트 기술 간의 국소 상호정보 최대화가 전역 MI나 지도 학습에 비해 더 나은 이미지 표현을 만들어내는가?
• RQ2 의료 영상 작업에서 국소 MI 최대화는 전역 MI에 비해 후속 분류 성능에서 어떻게 비교되는가?
• RQ3 이미지 인코더를 고정해도 국소 MI 학습이 성능 향상에 기여하는가, 아니면 미세조정이 필수적인가?
• RQ4 MI 추정기의 선택(예: MINE 대비 CPC)에 대해 국소 MI의 성능 향상이 얼마나 강인한가?

주요 결과

• 미세조정된 국소 MI 방법은 순서형 분류 작업인 EdemaSeverity에서 평균 AUC 0.88을 달성하여, 이어지는 최고 성능 기법(전역 MI: 0.85)을 크게 앞서며 유의미한 성능 향상을 보였다.
• Pathology9 이진 분류 벤치마크에서 국소 MI 방법은 평균 AUC 0.84를 기록했고, 전역 MI의 0.81에 비해 다수의 병변에서 일관된 성능 향상을 보였다.
• 고정된 인코더 조건에서도 국소 MI 방법은 몇몇 작업에서 완전히 지도 학습된 결과와 유사한 AUC 점수를 달성하여 강력한 비지도 특징 학습 능력을 보였다.
• 국소 MI 최대화의 성능 향상은 이미지 인코더를 미세조정했을 때 가장 두드러지게 나타나, 국소 MI가 더 영리하고 작업 특화된 표현을 생성함을 시사한다.
• MI 추정기의 선택에 대해 매우 민감하지 않으며, MINE와 CPC 모두 다양한 작업에서 유사한 성능을 보였다.
• 국소 MI 최대화로 인해 더 낮은 차원의 표현과 이미지당 더 많은 학습 샘플이 제공되어 최적화 경로가 향상되고, 학습 효율성과 일반화 능력이 향상된다.