[논문 리뷰] Adaptive Computation with Elastic Input Sequence

Fuzhao Xue, Valerii Likhosherstov외 4명|arXiv (Cornell University)|2023. 01. 30.

Advanced Neural Network Applications인용 수 5

한 줄 요약

AdaTape는 변동 가능한 학습 가능한 테이프를 사용하여 트랜스포머의 유연한 입력 시퀀스를 생성하는 새로운 적응형 계산 프레임워크를 제안한다. 이는 내용과 시퀀스 길이를 모두 적응적으로 조정할 수 있게 하여, 계산 자원이 동일한 조건에서 이미지 인식 작업에서 최신 기술 성능을 달성한다. 표준 및 적응형 트랜스포머보다 뛰어난 성능을 내기 위해 새로운 적응형 테이프 읽기(ATR) 메커니즘이 도입되었으며, 이는 테이프 뱅크에서 정보가 풍부한 토큰을 선택한다.

ABSTRACT

Humans have the ability to adapt the type of information they use, the procedure they employ, and the amount of time they spend when solving problems. However, most standard neural networks have a fixed function type and computation budget regardless of the sample's nature or difficulty. Adaptivity is a powerful paradigm as it not only imbues practitioners with flexibility pertaining to the downstream usage of these models but can also serve as a powerful inductive bias for solving certain challenging classes of problems. In this work, we introduce a new approach called AdaTape, which allows for dynamic computation in neural networks through adaptive tape tokens. AdaTape utilizes an elastic input sequence by equipping an architecture with a dynamic read-and-write tape. Specifically, we adaptively generate input sequences using tape tokens obtained from a tape bank which can be either trainable or derived from input data. We examine the challenges and requirements to obtain dynamic sequence content and length, and propose the Adaptive Tape Reading (ATR) algorithm to achieve both goals. Through extensive experiments on image recognition tasks, we show that AdaTape can achieve better performance while maintaining the computational cost. To facilitate further research, we have released code at https://github.com/google-research/scenic.

연구 동기 및 목표

• 표준 트랜스포머에서 계산 예산이 고정되어 있어 입력 복잡도에 맞게 조정되지 않는 한계를 해결하기 위해.
• 모델 깊이나 희소 라우팅이 아닌, 동적 입력 시퀀스 길이와 내용을 통해 새로운 적응형 계산 패러다임을 탐색하기 위해.
• 재학습 없이 추론 중 계산을 스케일링할 수 있는 유연한 단일 모델 솔루션을 제공하기 위해.
• 적응형 입력 시퀀스가 벡터 파리티 작업과 같이 어려운 문제를 해결하는 데 강력한 인덕티브 바이어스가 될 수 있음을 입증하기 위해.

제안 방법

• AdaTape는 각 입력 샘플에 대한 동적 메모리로 기능하는 학습 가능한 또는 입력 기반 토큰의 테이프 뱅크를 도입한다.
• 입력 복잡도에 따라 가변 길이의 테이프 토큰 시퀀스를 순차적으로 선택하는 적응형 테이프 읽기(ATR) 알고리즘을 적용한다.
• 선택된 테이프 토큰은 표준 트랜스포머 인코더에 입력되기 전에 입력 시퀀스에 추가된다.
• ATR는 읽을 테이프 토큰의 수를 동적으로 결정하는 정지 메커니즘을 사용하여, 각 샘플에 대해 가변적인 계산을 가능하게 한다.
• 테이프 뱅크는 학습 가능한 것일 수도 있고, 입력 특징(예: 패치 임베딩)에서 유도된 것일 수도 있어 내용 적응성이 가능하다.
• 재귀적 모델 적용이나 파rameter 희소성 방식을 피하고 입력 시퀀스 구조를 수정함으로써 계산 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 FLOPs를 늘리지 않고도 적응형 입력 시퀀스 길이와 내용이 모델 성능 향상에 기여할 수 있는가?
• RQ2 제안된 AdaTape 메커니즘이 표준 트랜스포머가 해결하지 못하는 작업(예: 벡터 파리티)을 해결할 수 있는가?
• RQ3 계산 자원 제약 조건 하에서 AdaTape는 기존의 적응형 방법 대비 추론 속도와 정확도에서 어떻게 비교되는가?
• RQ4 다양한 하드웨어와 배치 크기에서 추론 중 동적 계산 스케일링이 가능하면서도 높은 성능을 유지할 수 있는가?

주요 결과

• FLOPs가 유사한 조건에서 AdaTape는 표준 ViT 및 DeiT 모델보다 ImageNet-10-shot 정확도에서 뛰어난 성능을 보이며, 내용 적응성 기능을 제거한 경우 비적응형 기준선보다 2.3점 향상된 성과를 기록했다.
• 도전적인 벡터 파리티 작업에서 AdaTape는 원래 트랜스포머가 실패하는 문제를 성공적으로 해결하여, 어려운 작업에 대한 강력한 인덕티브 바이어스임을 입증했다.
• AdaTape-S/16는 더 높은 용량에도 불구하고 타이니 수준의 기준선보다 빠른 추론 속도를 기록하여, 동적 시퀀스 길이로 인한 효율성 향상을 입증했다.
• 제거 실험 결과, 내용 적응성 기능을 제거하면 ImageNet 10-shot 정확도가 2.3점 상당히 감소함을 확인하여, 이 기능이 성능 향상에 핵심적인 역할을 한다는 것을 확인했다.
• 더 큰 AdaTape 모델은 시퀀스 길이의 변동성이 증가하는 경향을 보이며, 계산 비용 제어 및 스케일링 시 더 나은 적응성을 확보하고 있음을 시사한다.
• 시각화 결과, AdaTape가 중심에 위치한 더 정보가 풍부한 이미지 패치를 우선적으로 선택하는 경향이 있음을 확인하여, 인간의 시각적 중요도 인식과 일치함을 확인했다.