[논문 리뷰] GLoMo: Unsupervisedly Learned Relational Graphs as Transferable Representations

Zhilin Yang, Junbo Zhao외 5명|arXiv (Cornell University)|2018. 06. 14.

Advanced Graph Neural Networks참고 문헌 44인용 수 30

한 줄 요약

GLoMo는 대규모 레이블이 없는 데이터로부터 전이 가능한, 작업에 관계없는 관계 그래프를 학습하는 비지도 학습 프레임워크를 제안한다. 여기서 신경망은 입력 단위(예: 단어 또는 픽셀) 간의 종속성을 캡처하는 유사도 행렬을 예측한다. 이러한 그래프는 사전 학습된 임베딩과 이미지 특징을 포함한 다양한 특징 표현과 결합될 때 다양한 NLP 및 비전 작업에서 성능을 향상시키며, 학습 데이터를 초월한 강력한 일반화 및 전이 가능성(transferability)을 보여준다.

ABSTRACT

Modern deep transfer learning approaches have mainly focused on learning generic feature vectors from one task that are transferable to other tasks, such as word embeddings in language and pretrained convolutional features in vision. However, these approaches usually transfer unary features and largely ignore more structured graphical representations. This work explores the possibility of learning generic latent relational graphs that capture dependencies between pairs of data units (e.g., words or pixels) from large-scale unlabeled data and transferring the graphs to downstream tasks. Our proposed transfer learning framework improves performance on various tasks including question answering, natural language inference, sentiment analysis, and image classification. We also show that the learned graphs are generic enough to be transferred to different embeddings on which the graphs have not been trained (including GloVe embeddings, ELMo embeddings, and task-specific RNN hidden unit), or embedding-free units such as image pixels.

연구 동기 및 목표

• 레이블이 없는 데이터로부터 일반적이고 작업에 종속되지 않는 관계 그래프를 학습함으로써 기능 기반 전이 학습을 넘어서는 것.
• 그래프 구조를 특징 표현에서 분리함으로써, 다양한 특징 유형에 대해 동일한 그래프를 재사용할 수 있도록 하는 것.
• 장거리 종속성을 캡처하는 보편적인 관계 구조를 데이터 기반으로 비지도 학습하는 방법을 개발하는 것.
• 다양한 입력 표현(예: 임베딩 및 원시 픽셀 포함)을 사용하여 학습된 그래프의 전이 가능성(transferability)을 입증하는 것.
• 자연어 처리 및 비전 도메인 양쪽에서 프레임워크의 효과성을 검증하여, 원래 학습 모odal을 초월한 일반화 능력을 보여주는 것.

제안 방법

• 대규모 레이블이 없는 시퀀스에서 비지도 학습을 위해 그래프 예측 네트워크 $g$와 특징 예측 네트워크 $f$를 함께 훈련하며, 예측된 표현과 진짜 표현 간의 일치를 유도하기 위해 대비 목표함수를 사용한다.
• 각 항목 $G_{ij}$가 입력 단위 $x_i$와 $x_j$ 간의 종속성을 캡처하는 비대칭적이고 방향성 있으며 가중치가 부여된 유사도 행렬 $\mathbf{G}$를 학습하며, 계산적 안정성을 확보하기 위해 열 정규화를 적용한다.
• 그래프 예측을 특징 학습에서 분리함으로써, 동일한 그래프 구조가 다양한 특징 유형(예: GloVe, ELMo, RNN 은닉 상태, 이미지 픽셀)에 적용될 수 있도록 한다.
• 다중 스케일 종속성을 모델링하고 표현력을 향상시키기 위해 다중 헤드를 활용한 계층적 그래프 표현을 사용한다.
• 작업별 특징과 행렬 곱셈을 통해 학습된 그래프를 적용하여 구조 인식 특징 표현을 생성한다.
• 시퀀스 예측 목표함수와 유닛 수준의 목표함수를 최적화하여, 의미 있는, 희소적이며 해석 가능한 관계 패턴을 학습하도록 유도한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 데이터로부터 관계 그래프를 비지도 학습하면, 후속 작업 성능을 향상시키는 전이 가능한 표현을 얻을 수 있는가?
• RQ2 동일한 관계 그래프 구조가 사전 학습된 임베딩과 원시 픽셀을 포함한 다양한 입력 표현에 효과적으로 적용될 수 있는가?
• RQ3 희소성, 계층성, 분리성 등의 아키텍처 선택 사항이 학습된 그래프의 품질과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 학습된 그래프가 언어 및 비전 작업 모두에서 장거리 종속성을 어느 정도 잘 캡처할 수 있는가?
• RQ5 그래프 기반 표현이 다양한 NLP 및 비전 벤치마크에서 전통적인 기능 기반 전이 학습보다 우월하거나 보완적인가?

주요 결과

• GLoMo는 질문 응답, 자연어 추론, 감성 분석 등의 다양한 NLP 작업에서 작업별 특징과 함께 학습된 관계 그래프를 통합함으로써 성능 향상을 이룬다.
• GLoMo는 GloVe 임베딩, ELMo 표현, 작업별 RNN 은닉 상태 등 다양한 특징 유형에서 일관된 성능 향상을 달성하여 강력한 전이 가능성(transferability)을 보여준다.
• GLoMo는 픽셀 수준의 특징에 적용되었을 때 이미지 분류 성능을 향상시켜 언어를 초월해 비전 작업으로의 일반화 능력을 입증한다.
• 학습된 그래프는 희소적이며 계층적이며, 인간이 애너테이션한 구조(예: 의존성 트리)와 일치하는 의미 있는 장거리 종속성을 캡처한다.
• 그래프 예측기의 어텐션 가중치 시각화 결과, 모델이 핵심 포인트 픽셀 간의 연결을 학습하고 있음을 확인할 수 있으며, 이는 구조적 관계를 효과적으로 모델링하고 있음을 시사한다.
• 절단 실험 결과, 그래프와 특징의 분리, 희소성, 유닛 수준의 목표함수는 일반적이고 효과적인 관계 구조를 학습하는 데 핵심 요소임을 확인한다.