[논문 리뷰] IGLOO: Slicing the Features Space to Represent Sequences

Vsevolod Sourkov|arXiv (Cornell University)|2018. 07. 09.

Image Processing and 3D Reconstruction인용 수 4

한 줄 요약

IGLOO는 쌓인 1차원 컨볼루션의 특징 맵에서 공간적으로 분할된 비국소적 패치 간의 관계를 분석함으로써 시퀀스를 표현하는 새로운 신경망 아키텍처를 제안한다. 이는 긴 시퀀스(최대 20,000단계)에서 경쟁적인 성능을 달성하며, Wikitext-2에서 트랜스포머와 유사한 퍼플렉서티(~20.5)를 기록하고, 비정상적으로 긴 비코딩 RNA 분류 작업에서 98.46%의 새로운 SOTA 성능을 기록한다. 이는 희소한 패치 기반 어텐션 덕분에 메모리 사용량이 감소한 결과이다.

ABSTRACT

Historically, Recurrent neural networks (RNNs) and its variants such as LSTM and GRU and more recently Transformers have been the standard go-to components when processing sequential data with neural networks. One notable issue is the relative difficulty to deal with long sequences (i.e. more than 20,000 steps). We introduce IGLOO, a new neural network architecture which aims at being efficient for short sequences but also at being able to deal with long sequences. IGLOOs core idea is to use the relationships between non-local patches sliced out of the features maps of successively applied convolutions to build a representation for the sequence. We show that the model can deal with dependencies of more than 20,000 steps in a reasonable time frame. We stress test IGLOO on the copy-memory and addition tasks, as well as permuted MNIST (98.4%). For a larger task we apply this new structure to the Wikitext-2 dataset Merity et al. (2017b) and achieve a perplexity in line with baseline Transformers but lower than baseline AWD-LSTM. We also present how IGLOO is already used today in production for bioinformatics tasks.

연구 동기 및 목표

• 표준 RNN과 트랜스포머가 계산 및 메모리 병목 현상에 빠지는 20,000단계를 초월하는 장기 시퀀스 의존성 모델링 문제를 해결하기 위해.
• O(L²) 복잡도를 유지하면서도 장기 의존성 모델링 능력을 유지하는 경량이고 효율적인 트랜스포머 대체 기반을 개발하기 위해.
• 시퀀스가 3,000개 이하 뉴클레오티드를 초월할 수 있는 생물정보학과 같은 자원 제약이 있는 도메인에서 시퀀스 모델의 실용적 구현을 가능하게 하기 위해.
• 자기어텐션 또는 반복 구조와는 다름없는, 특징 맵 내 비국소적 패치 상관관계에 기반한 새로운 인덕티브 바이어스를 탐색하기 위해.
• 패치 간 희소하고 구조화된 관계가 표준 벤치마크와 실제 작업에서 경쟁 가능한 성능을 낼 수 있는지 입증하기 위해.

제안 방법

• IGLOO-base는 입력 시퀀스에서 특징 맵을 추출하기 위해 인과 1차원 컨볼루션을 사용하며, 이후 학습 가능한 또는 확률적 샘플링 전략을 통해 시간 차원에서 p개의 비국소적 패치를 추출한다.
• 각 패치는 특징 맵의 연속된 p개 시간 단위의 세그먼트이며, J개의 패치가 동시에 처리되어 크기가 J × K인 압축된 표현을 형성한다. 여기서 K는 컨볼루션 필터의 수이다.
• 패치 선택은 현재 시간 단계를 중심으로 한 가우시안 분포에 의해 유도되며, 조정 가능한 분산을 통해 국소적 및 비국소적 맥락에 집중할 수 있도록 한다.
• IGLOO-seq는 트랜스포머의 자기어텐션 메커니즘을 IGLOO-base 블록으로 대체하여, 동일한 아키텍처를 유지하면서도 희소한 패치 상호작용을 통해 계산 복잡도를 감소시킨다.
• 모델은 커널 크기가 3이고 인과 패딩을 사용하는 두 개의 1차원 컨볼루션 레이어 스택을 거친 후 패치 수집 및 전역 평균 풀링을 통해 시퀀스 수준의 표현을 생성한다.
• 모델은 패치 수 J를 제한함으로써 메모리 효율성을 확보하며, 이는 트랜스포머의 O(L²) 어텐션과 달리 시퀀스 길이 L에 대해 제곱근 이하로 증가한다.

실험 결과

연구 질문

• RQ1 특징 맵의 비국소적 영역 간의 패치 기반 상관관계 메커니즘이 시퀀스의 장기 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 트랜스포머 유사 아키텍처에서 자기어텐션을 IGLOO-base로 대체할 경우, 메모리 및 계산 비용을 줄이면서도 경쟁적인 성능을 유지할 수 있는가?
• RQ3 IGLOO는 시퀀스가 3,000개 이상 토큰을 초월하는 실제 장기 시퀀스 작업, 예를 들어 RNA 시퀀스 분류와 같은 작업에 스케일업 가능한가?
• RQ4 패치 수 J가 장기 시퀀스 모델링에서 모델 성능과 메모리 효율성에 어떤 영향을 미치는가?
• RQ5 각 시간 단계마다 패치 위치가 무작위로 샘플링되므로, 무작위 패치 샘플링에 대해 IGLOO는 강건한가?

주요 결과

• IGLOO-seq는 Wikitext-2에서 테스트 퍼플렉서티 20.5를 기록하여, 트랜스포머와 동일한 성능을 달성하면서도 더 적은 메모리를 사용한다.
• J=50와 J=100의 다양한 패치 수에서도 일관된 성능을 유지하며, 퍼플렉서티 변동이 0.5 이내로 매우 낮아, 하이퍼파rameter 선택에 대해 강건함을 보였다.
• FEELnc 데이터셋에서 IGLOO-base는 장기 비코딩 RNA의 번역 가능성 분류에서 기존 RNN 및 트랜스포머 기반 모델을 능가하는 최신 기술(SOTA) 성능 98.46%를 기록했다.
• 모델은 최대 20,000개의 시간 단위까지의 의존성을 성공적으로 포착하여, 일반적인 RNN 및 트랜스포머의 한계를 초월하는 확장성을 입증했다.
• 3,000 길이의 RNA 시퀀스에서 J=600개 패치를 사용할 경우, J << L임을 감안할 때 높은 성능를 달성함으로써 실제 생물정보학 응용 분야에서의 효율성 향상을 입증했다.
• 무작위 패치 샘플링에 대해도 예측의 변동성이 낮아, 확률적 패치 선택에도 불구하고 안정적인 최적화와 일반화 능력을 보였다.