[논문 리뷰] A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention

Grégoire Mialon, Dexiong Chen외 2명|arXiv (Cornell University)|2020. 06. 22.

Machine Learning in BioinformaticsBiochemistry, Genetics and Molecular Biology인용 수 17

한 줄 요약

이 논문은 최적 운반(OT)을 기반으로 한 학습 가능한 고정 크기의 표현을 학습함으로써 크기가 다样的인 특징 집합을 기준으로 정렬함으로써 고정 크기의 표현을 학습하는 OTKE를 제안한다. 이는 단백질 접힘 인식과 염색체 프로파일 탐지에서 최신 기술 수준의 성능을 달성하며, BERT 특징을 사용한 자연어 처리(NLP) 작업에서도 뛰어난 성능을 보이며 최소한의 미세조정으로 강력한 기준 모델을 능가한다.

ABSTRACT

We address the problem of learning on sets of features, motivated by the need of performing pooling operations in long biological sequences of varying sizes, with long-range dependencies, and possibly few labeled data. To address this challenging task, we introduce a parametrized representation of fixed size, which embeds and then aggregates elements from a given input set according to the optimal transport plan between the set and a trainable reference. Our approach scales to large datasets and allows end-to-end training of the reference, while also providing a simple unsupervised learning mechanism with small computational cost. Our aggregation technique admits two useful interpretations: it may be seen as a mechanism related to attention layers in neural networks, or it may be seen as a scalable surrogate of a classical optimal transport-based kernel. We experimentally demonstrate the effectiveness of our approach on biological sequences, achieving state-of-the-art results for protein fold recognition and detection of chromatin profiles tasks, and, as a proof of concept, we show promising results for processing natural language sequences. We provide an open-source implementation of our embedding that can be used alone or as a module in larger learning models at https://github.com/claying/OTK.

연구 동기 및 목표

• 장거리 의존성을 가지며 레이블이 제한된 변수 크기의 생물학적 및 자연어 시퀀스에서의 학습 문제를 해결하기 위해.
• 하류 작업을 위한 종단 간 학습이 가능한 고정 크기의 미분 가능한 임베딩을 개발하기 위해.
• 최적 운반과 커널 방법을 융합하여 비선형 특징 변환과 확장 가능한 풀링을 가능하게 하기 위해.
• 낮은 계산 오버헤드를 가진 단순한 비지도 사전 학습 메커니즘을 제공하기 위해.
• 장기간의 생물학적 시퀀스에서의 효과성과 NLP 작업으로의 전이 성능을 입증하기 위해.

제안 방법

• 이 방법은 입력 특징 집합과 학습 가능한 기준 집합 사이의 운반 계획을 최적 운반을 통해 계산한다.
• 운반 계획을 가중치로 사용하여 특징들을 재생핵 힐버트 공간(RKHS)에 매핑한 후 풀링한다.
• 확장성을 확보하기 위해 Nyström 근사를 통해 유한 차원의 임베딩을 확보한다.
• 기준 집합은 지도 또는 비지도 방식으로 종단 간 최적화된다.
• 이 방법은 주로 어텐션의 형태이거나 고전적 OT 기반 커널의 대체 수단으로서 해석 가능하다.
• 이 방법은 비지도 사전 학습과 단순한 선형 분류기로의 미세조정을 모두 지원한다.

실험 결과

연구 질문

• RQ1 최적 운반을 사용하여 변수 크기의 특징 집합에 대해 학습 가능한, 미분 가능한, 확장 가능한 임베딩을 만들 수 있는가?
• RQ2 성능 및 학습 효율성 측면에서 제안된 OTKE 임베딩은 어텐션 메커니즘과 고전적 커널 방법과 어떻게 비교되는가?
• RQ3 이 방법은 레이블이 제한된 장기간의 생물학적 시퀀스에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 기준 집합의 비지도 사전 학습이 NLP 작업의 하류 성능을 향상시키는가?
• RQ5 이 방법은 단백질 및 염색체 프로파일을 포함한 다양한 시퀀스 유형으로 일반화될 수 있는가?

주요 결과

• SST-2 감성 분류 벤치마크에서, 지도 학습 기반 OTKE 임베딩은 4개의 기준과 10개의 지원을 사용하여 88.68%의 정확도를 기록했으며, Set Transformer(87.9%)와 RepSet(87.1%)를 포함한 모든 기준 모델을 능가했다.
• 비지도 OTKE 임베딩은 300개의 지원을 사용하여 SST-2에서 87.2%의 정확도를 달성했으며, 사전 학습된 BERT 특징에서 평균 풀링(85.4%)과 [CLS](84.6%)를 초월했다.
• 단백질 접힘 인식 작업에서, 이 방법은 최신 기술 수준의 성능을 달성했으며, 레이블 수가 적은 장기간의 생물학적 시퀀스에서의 효과성을 입증했다.
• 염색체 프로파일 탐지 작업에서도 유망한 성능을 보였으며, 이는 이 방법의 유용성이 게놈 분야에서 검증됨을 다시 한번 확인시켰다.
• 학습 시간이 효율적이었으며, 소형 모델의 경우 1시간 이내, 대형 모델의 경우 3시간 이내로 단일 GPU에서 수행되었다.
• 단일 레이어 자기 어텐션 기준 모델(83.7%)과 OTKE의 도트 곱 변형(86.9%)을 능가함으로써, 최적 운반 기반 메커니즘의 중요성을 확인했다.