[논문 리뷰] Information-Preserving Contrastive Learning for Self-Supervised Representations.

Tianhong Li, Lijie Fan외 4명|arXiv (Cornell University)|2020. 12. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 52인용 수 4

한 줄 요약

이 논문은 데이터 내에 존재하는 단서(임의의 상관관계)가 있을 때조차도 임무에 관련된 정보를 유지하는 자기지도 학습 표현 학습 프레임워크인 정보 보존 대비 학습(IPCL)을 제안한다. 기존의 방법들이 데이터 증강을 통해 단서를 제거하는 데 반해, IPCL는 단서와 의미 있는 특징을 명시적으로 모두 유지함으로써 다양한 후행 작업과 모odalities에서 성능 향상을 이룬다. 이는 라디오 신호와 같이 해석이 어려운 모달리티에도 적용 가능하다.

ABSTRACT

Contrastive learning is very effective at learning useful representations without supervision. Yet contrastive learning has its limitations. It may learn a shortcut that is irrelevant to the downstream task, and discard relevant information. Past work has addressed this limitation via custom data augmentations that eliminate the shortcut. This solution however does not work for data modalities that are not interpretable by humans, e.g., radio signals. For such modalities, it is hard for a human to guess which shortcuts may exist in the signal, or how they can be eliminated. Even for interpretable data, sometimes eliminating the shortcut may be undesirable. The shortcut may be irrelevant to one downstream task but important to another. In this case, it is desirable to learn a representation that captures both the shortcut information and the information relevant to the other downstream task. This paper presents information-preserving contrastive learning (IPCL), a new framework for unsupervised representation learning that preserves relevant information even in the presence of shortcuts. We empirically show that the representations learned by IPCL outperforms contrastive learning in supporting different modalities and multiple diverse downstream tasks.

연구 동기 및 목표

• 데이터 내 단서 존재 시 대비 학습이 관련 정보를 기각하는 한계를 해결하기 위해.
• 라디오 신호와 같이 인간이 해석하기 어려운 데이터 모달리티에서도 단서 및 임무 관련 특징을 모두 보존하는 방법을 개발하기 위해.
• 단서가 일부 작업에는 유용하지만 다른 작업에는 그렇지 않은 상황에서도 다수의 후행 작업을 지원할 수 있는 표현 학습을 가능하게 하기 위해.
• 복잡하거나 비해석 가능한 데이터에 대해 인간이 설계한 데이터 증강 방식의 제약을 극복하기 위해.

제안 방법

• IPCL는 단서와 기저 의미적 내용 양측의 정보를 명시적으로 보존하는 대비 학습 프레임워크를 도입한다.
• 증강된 시각에서 표현을 학습하는 이중 브랜치 네트워크를 사용하며, 불변성과 정보 보존 사이의 트레이드오프를 유지한다.
• 모델이 유의미한 후행 작업 정보를 유지하도록 유도하는 정규화 항목을 통합하여, 임의의 단서와 상관관계가 있더라도 이를 보존하도록 유도한다.
• 양호한 쌍(증강된 시각)을 균형 잡는 대비 목표를 활용하며, 유용한 신호가 기각되는 위험을 최소화한다.
• 모듈러하고 다양한 데이터 모달리티, 특히 인간이 이해할 수 없는 것들에도 적용 가능한 프레임워크로 설계되었다.
• 인간의 직관에 의존하지 않고, 아키텍처와 손실 함수 설계를 통해 정보 보존을 내재적으로 학습함으로써 데이터 증강에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 임의의 단서가 데이터에 존재할 때 대비 학습이 관련 정보를 보존하도록 개선될 수 있는가?
• RQ2 단서가 일부 작업에만 유용한 경우에도 다수의 후행 작업에서 유효성을 유지하는 표현을 어떻게 학습할 수 있는가?
• RQ3 라디오 신호와 같이 해석이 어려운 데이터 모달리티에서 인간이 설계한 증강 없이도 정보를 보존할 수 있는가?
• RQ4 단서 정보를 보존하는 것이 의미 이해가 필요한 후행 작업에서 성능을 떨어뜨리는가?
• RQ5 단서와 의미 있는 특징을 모두 보존함으로써 자기지도 학습 프레임워크가 다양한 모달리티와 작업에서 표준 대비 학습보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• IPCL는 라디오 파동과 같이 해석이 어려운 비해석적 신호를 포함한 다양한 후행 작업과 데이터 모달리티에서 표준 대비 학습보다 뛰어난 성능을 보였다.
• 프레임워크는 단서와 의미 있는 콘텐츠에서 온 정보를 성공적으로 보존하여 더 나은 일반화를 가능하게 하였다.
• 단서가 유용한 작업에서는 성능 유지를 유지하면서도, 다른 작업에서는 임무 관련 특징을 여전히 포착하였다.
• 인간이 설계한 증강이 비현실적이거나 불가능한 데이터 유형으로도 잘 일반화되었다.
• 실증 결과에 따르면, IPCL는 복잡하거나 모호한 데이터 환경에서 베이스라인 대비 학습보다 뛰어난 표현 품질을 달성하였다.