[논문 리뷰] PonderNet: Learning to Ponder

Andrea Banino, Jan Balaguer외 1명|arXiv (Cornell University)|2021. 07. 12.

Topic Modeling인용 수 3

한 줄 요약

PonderNet는 입력 복잡도에 따라 계산을 동적으로 조정하는 신경망 아키텍처를 도입하여, 정확도, 효율성, 일반화 능력을 종합적으로 최적화하는 데에 학습한다. 이는 기준 모델보다 더 적은 계산 자원을 사용하면서도 추론 및 질의응답 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In standard neural networks the amount of computation used grows with the size of the inputs, but not with the complexity of the problem being learnt. To overcome this limitation we introduce PonderNet, a new algorithm that learns to adapt the amount of computation based on the complexity of the problem at hand. PonderNet learns end-to-end the number of computational steps to achieve an effective compromise between training prediction accuracy, computational cost and generalization. On a complex synthetic problem, PonderNet dramatically improves performance over previous adaptive computation methods and additionally succeeds at extrapolation tests where traditional neural networks fail. Also, our method matched the current state of the art results on a real world question and answering dataset, but using less compute. Finally, PonderNet reached state of the art results on a complex task designed to test the reasoning capabilities of neural networks.1

연구 동기 및 목표

• 표준 신경망에서 입력 복잡도에 맞게 조정되지 않는 고정된 계산 방식의 한계를 해결하기 위해.
• 문제 난이도에 따라 가변적인 계산을 할당하는 방법을 개발하여 효율성과 일반화 능력을 향상시키기 위해.
• 계산 비용을 줄이며 추론 및 질의응답 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.
• 기존 네트워크가 실패하는 복잡한 합성 작업에서 효과적인 외삽을 가능하게 하기 위해.

제안 방법

• PonderNet는 내부 신뢰도와 복잡도를 바탕으로 각 입력에 대해 처리를 멈출 시점을 결정하는 학습 가능한 메커니즘을 사용한다.
• 역전파를 통한 엔드 투 엔드 훈련을 허용하는 미분 가능한 멈춤 기준을 적용한다.
• 입력당 계산 단계 수를 제어하는 게이팅 메커니즘을 통합한다.
• 훈련 중 예측 정확도, 계산 비용, 일반화 능력 간의 트레이드오���을 최적화한다.
• 순차적 처리와 적응형 추론을 모두 지원하여 동적 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경망이 입력 크기 대신 입력 복잡도에 따라 계산을 다양화할 수 있는가?
• RQ2 적응형 계산이 복잡한 추론 작업에서 일반화 및 외삽 능력을 향상시키는가?
• RQ3 적응형 계산이 계산 비용을 줄이며 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 분포 외 일반화에서 PonderNet는 고정된 계산 네트워크보다 어떻게 비교되는가?

주요 결과

• PonderNet는 복잡한 합성 추론 작업에서 이전의 적응형 계산 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 표준 신경망이 실패한 외삽 테스트에서 성공적으로 통과하여 일반화 능력 향상을 입증했다.
• 실제 세계의 질의응답 데이터셋에서 PonderNet는 더 적은 계산 자원을 사용하면서도 최신 기술 수준의 성능을 달성했다.
• 어려운 추론 벤치마크에서 PonderNet는 최신 기술 수준의 결과를 달성하여 복잡한 추론에서의 효과성을 확인했다.