[논문 리뷰] IGLOO: Slicing the Features Space to Represent Long Sequences.

Vsevolod Sourkov|arXiv (Cornell University)|2018. 07. 09.

Topic Modeling참고 문헌 29인용 수 3

한 줄 요약

IGLOO는 시퀀스의 장거리 의존성을 모델링하기 위해 쌓인 컨볼루션에서 특징 맵을 잘라내는 새로운 신경망 아키텍처입니다. 이는 20,000단계가 넘는 시퀀스를 효율적으로 처리할 수 있게 하며, 복사-메모리, 덧셈, 순열 MNIST(98.4%), Wikitext-2와 같은 장시퀀스 작업에서 경쟁력 있는 성능을 달성합니다. Transformer의 퍼플렉서티 수준을 유지하면서도 AWD-LSTM을 능가합니다.

ABSTRACT

Historically, Recurrent neural networks (RNNs) and its variants such as LSTM and GRU and more recently Transformers have been the standard go-to components when processing sequential data with neural networks. One notable issue is the relative difficulty to deal with long sequences (i.e. more than 20,000 steps). We introduce IGLOO, a new neural network architecture which aims at being efficient for short sequences but also at being able to deal with long sequences. IGLOOs core idea is to use the relationships between non-local patches sliced out of the features maps of successively applied convolutions to build a representation for the sequence. We show that the model can deal with dependencies of more than 20,000 steps in a reasonable time frame. We stress test IGLOO on the copy-memory and addition tasks, as well as permuted MNIST (98.4%). For a larger task we apply this new structure to the Wikitext-2 dataset Merity et al. (2017b) and achieve a perplexity in line with baseline Transformers but lower than baseline AWD-LSTM. We also present how IGLOO is already used today in production for bioinformatics tasks.

연구 동기 및 목표

• 신경망에서 장시퀀스를 모델링하는 도전 과제, 특히 20,000단계를 초과하는 경우에 대응합니다.
• RNN, LSTM, GRU 및 Transformer가 매우 장시간 시퀀스를 효율적으로 처리하는 데 한계를 극복합니다.
• 짧은 시퀀스에서도 효율성을 유지하면서 장시간 시퀀스로의 확장성을 확보하는 모델을 개발합니다.
• 생물정보학과 같은 분야에서 장기적 맥락 이해가 필요한 실세계 응용 분야에 실용적으로 구현할 수 있도록 합니다.

제안 방법

• 연속적으로 적용된 컨벌루션에 의해 생성된 특징 맵에서 국소적이지 않은 패치를 잘라내어 공간적 및 시간적 관계를 추출합니다.
• 이러한 국소적이지 않은 패치 간의 관계를 이용해 시퀀스의 전반적인 표현을 구축합니다.
• 컨벌루션 기반 특징 추출을 활용해 국소 패턴을 유지하면서도 패치 간 관계를 통해 장거리 모델링을 가능하게 합니다.
• 자기주의 주목의 제곱 복잡도를 피하기 위해 짧고 긴 시퀀스 모두에서 계산적으로 효율적인 아키텍처를 설계합니다.
• 피드포워드 또는 하이브리드 아키텍처에 특징 자르기 메커니즘을 통합하여 속도와 확장성을 유지합니다.
• 표준 목표(예: 교차 엔트로피 손실)를 사용해 시퀀스 모델링 벤치마크에서 종합적으로 모델을 훈련합니다.

실험 결과

연구 질문

• RQ1 컨벌루션 기반 아키텍처가 20,000단계를 초과하는 시퀀스에서 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 IGLOO의 특징 자르기 메커니즘은 장거리 의존성을 모델링하는 데 있어 주목 기반 메커니즘과 비교해 어떻게 성능을 내는가?
• RQ3 IGLOO가 장시간 시퀀스로 확장되면서도 짧은 시퀀스에서의 성능를 얼마나 잘 유지할 수 있는가?
• RQ4 IGLOO는 주목 기반 메커니즘에 의존하지 않고도 Wikitext-2 및 순열 MNIST와 같은 표준 벤치마크에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ5 IGLOO는 생물정보학과 같이 장기 맥락 모델링이 필요한 분야에서 실세계 생산 환경에 적합한가?

주요 결과

• IGLOO는 합리적인 시간 내에 20,000단계가 넘는 시퀀스를 효과적으로 모델링하여 기존 RNN 및 Transformer의 한계를 초월한 확장성을 입증합니다.
• 순열 MNIST 작업에서 IGLOO는 테스트 정확도 98.4%를 달성하여 시퀀스 기반 이미지 인식에서 뛰어난 성능을 보입니다.
• Wikitext-2 벤치마크에서 IGLOO는 Transformer 기반 베이스라인과 동등한 퍼플렉서티를 기록하여 경쟁력 있는 언어 모델링 성능를 확인합니다.
• Wikitext-2에서 IGLOO는 AWD-LSTM 기반 베이스라인보다 낮은 퍼플렉서티를 기록하여 향상된 모델링 능력을 보여줍니다.
• IGLOO는 이미 생물정보학 응용 분야에서 생산 환경에 배포되어 실용성과 확장성의 타당성을 입증했습니다.