[논문 리뷰] Self-supervised learning: Generative or contrastive

Xiao Xiao|arXiv (Cornell University)|2024. 01. 01.

Hate Speech and Cyberbullying Detection인용 수 58

한 줄 요약

이 종합 검토는 컴퓨터 시각, 자연어 처리 및 그래프 학습 분야의 자기지도 표현 학습 방법을 생성형, 대비형, 생성형-대비형(대칭형)의 세 가지 유형으로 분류하며, 경험적 방법과 이론적 분석에 대한 종합적인 검토를 제공한다. 자기지도 학습의 핵심 추세, 과제 및 향후 방향성을 규명하며, 수동 레이블링 없이도 레이블링이 없는 데이터를 활용해 최종 성능을 향상시킬 수 있는 능력을 강조한다.

ABSTRACT

Deep supervised learning has achieved great success in the last decade. However, its deficiencies of dependence on manual labels and vulnerability to attacks have driven people to explore a better solution. As an alternative, self-supervised learning attracts many researchers for its soaring performance on representation learning in the last several years. Self-supervised representation learning leverages input data itself as supervision and benefits almost all types of downstream tasks. In this survey, we take a look into new self-supervised learning methods for representation in computer vision, natural language processing, and graph learning. We comprehensively review the existing empirical methods and summarize them into three main categories according to their objectives: generative, contrastive, and generative-contrastive (adversarial). We further investigate related theoretical analysis work to provide deeper thoughts on how self-supervised learning works. Finally, we briefly discuss open problems and future directions for self-supervised learning.

연구 동기 및 목표

• 컴퓨터 시각, 자연어 처리 및 그래프 학습 분야의 최근 자기지도 학습 방법을 분류하고 분석하기.
• 생성형, 대비형 및 생성형-대비형 접근 방식의 경험적 성능와 이론적 기초를 검토하기.
• 자기지도 표현 학습 분야에서 열려 있는 문제를 규명하고 향후 연구 방향을 제안하기.

제안 방법

• 자기지도 학습 방법을 목적에 따라 세 가지 주요 범주로 분류: 생성형, 대비형 및 생성형-대비형(대칭형) 학습.
• 컴퓨터 시각, 자연어 처리 및 그래프 학습 분야의 경험적 방법을 검토하며, 입력 데이터를 감독 신호로 활용하는 방식에 중점을 둔다.
• 이론적 연구를 분석하여 자기지도 표현 학습의 근본적인 메커니즘을 이해한다.
• 데이터 증강과 예측 목표가 대비형 및 생성형 방법에서 수행하는 역할을 부각시킨다.
• 각 방법 범주가 표현 품질과 학습 안정성 측면에서 가지는 강점과 한계를 비교한다.
• 다양한 자기지도 학습 목표 간의 설계 선택과 성능 트레이드오프를 이해하기 위한 통합 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 생성형, 대비형 및 생성형-대비형 자기지도 학습 방법은 목적과 성능 측면에서 어떻게 다릅니까?
• RQ2 자기지도 학습이 효과적으로 작동하는 이유를 설명하는 이론적 기초는 무엇입니까?
• RQ3 이러한 방법들은 컴퓨터 시각, 자연어 처리 및 그래프 학습과 같은 다양한 도메인으로 어떻게 일반화됩니까?
• RQ4 현재 자기지도 학습 접근 방식에서 주요 과제와 한계는 무엇입니까?
• RQ5 자기지도 표현 학습을 발전시키기 위해 가장 유망한 향후 연구 방향은 무엇입니까?

주요 결과

• 자기지도 학습은 입력 데이터를 감독 신호로 활용함으로써 표현 학습을 크게 향상시키며, 수동 레이블링에 대한 의존도를 줄인다.
• 대비형 방법은 유사한 샘플을 가까이, 다른 샘플을 멀리 떨어지게 하는 표현을 학습함으로써 뛰어난 성능을 달성한다.
• 생성형 방법은 일반적으로 마스킹 예측이나 오토에코딩을 통해 입력 데이터를 재구성함으로써 표현을 학습한다.
• 생성형과 대비형 목표의 조합(생성형-대비형)은 더 강건하고 일반화 능력이 뛰어난 표현을 이끌어낸다.
• 이론적 분석은 자기지도 목표가 암묵적으로 분리된 특징과 불변 특징을 학습할 수 있음을 드러낸다.
• 진전이 있었음에도 불구하고, 자기지도 표현 학습에서 일반화, 내성적 안정성, 샘플 효율성에 대한 이해는 여전히 과제로 남아 있다.