[논문 리뷰] Stable and expressive recurrent vision models

Drew Linsley, Alekh Karkada Ashok외 3명|arXiv (Cornell University)|2020. 05. 22.

Cell Image Analysis Techniques참고 문헌 60인용 수 7

한 줄 요약

이 논문은 반복형 합성곱 신경망(CNN)이 훈련 중 일정한 메모리 복잡도를 달성할 수 있도록 해주는 새로운 학습 알고리즘인 Contractor 역전파(Contractor Recurrent Back-Propagation, C-RBP)를 소개한다. 이는 표준 시간에 따른 역전파(BPTT)의 O(N) 메모리 병목 현상을 해결한다. C-RBP는 안정적이고 표현력 있는 동역학을 보장하기 위해 리프시츠-상수 페널티(Lipschitz-Constant Penalty, LCP)를 도입하고, 반복형 역전파와 융합함으로써 장거리 공간적 종속성을 학습할 수 있도록 하며, MS-COCO 패노픽 세그멘테이션에서 최신 피드포워드 네트워크를 능가하는 성능을 내며 파라미터 수를 약 800,000개 줄였다.

ABSTRACT

Primate vision depends on recurrent processing for reliable perception. A growing body of literature also suggests that recurrent connections improve the learning efficiency and generalization of vision models on classic computer vision challenges. Why then, are current large-scale challenges dominated by feedforward networks? We posit that the effectiveness of recurrent vision models is bottlenecked by the standard algorithm used for training them, "back-propagation through time" (BPTT), which has O(N) memory-complexity for training an N step model. Thus, recurrent vision model design is bounded by memory constraints, forcing a choice between rivaling the enormous capacity of leading feedforward models or trying to compensate for this deficit through granular and complex dynamics. Here, we develop a new learning algorithm, "contractor recurrent back-propagation" (C-RBP), which alleviates these issues by achieving constant O(1) memory-complexity with steps of recurrent processing. We demonstrate that recurrent vision models trained with C-RBP can detect long-range spatial dependencies in a synthetic contour tracing task that BPTT-trained models cannot. We further show that recurrent vision models trained with C-RBP to solve the large-scale Panoptic Segmentation MS-COCO challenge outperform the leading feedforward approach, with fewer free parameters. C-RBP is a general-purpose learning algorithm for any application that can benefit from expansive recurrent dynamics. Code and data are available at https://github.com/c-rbp.

연구 동기 및 목표

• 반복형 CNN 훈련에서 발생하는 메모리 병목 현상을 해결하여, 대규모 시각 과제에서 큰 피드포워드 모델과 경쟁할 수 있도록 모델의 능력을 향상시키는 것.
• 반복형 시각 모델에서 안정성과 표현력 사이의 근본적 상충 관계를 해결하는 것. 여기서 안정적인 동역학은 종종 성능을 저하시키기 때문이다.
• 일반적인 목적의 학습 알고리즘을 개발하여, 일정한 메모리 복잡도를 유지하면서 광범위한 반복 동역학을 가능하게 하며, 대규모 시각 과제에 적합한 것.
• C-RBP로 훈련된 반복 모델이 명시적 지도 없이 인간과 유사한 시각 루틴, 예를 들어 윤곽 추적이나 플러드필 알고리즘 기반 세그멘테이션을 학습할 수 있음을 보여주는 것.
• C-RBP가 최신 피드포워드 모델보다 훨씬 적은 파라미터로 MS-COCO 패노픽 세그멘테이션에서 최고 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 반복 업데이트 함수의 자코비안을 제약하여 안정적이고 수축적인 동역학을 보장하기 위해, 미분 가능한 정규화 기법인 리프시츠-상수 페널티(LCP)를 도입한다.
• LCP를 반복형 역전파(RBP)와 융합한다. RBP는 고정점 반복을 통해 은닉 상태를 저장하지 않고 역전파를 수행함으로써 메모리 효율성을 높이는 방법이다.
• C-RBP를 개발하여, 반복 단계의 수에 관계없이 항상 O(1)의 메모리 복잡도를 유지함으로써 장거리 처리가 가능한 훈련 알고리즘을 확보한다.
• C-RBP를 사용하여 합성 윤곽 추적 및 MS-COCO 패노픽 세그멘테이션에서 잔차 U-Net 및 FPN 스타일 아키텍처를 활용한 반복 시각 모델을 훈련한다.
• 기울기 체크포인팅과 가중치 공유를 활용하여 훈련 파이프라인의 메모리 및 파라미터 효율성을 추가로 최적화한다.
• 기본 모델로 시간에 따른 역전파(BPTT)를 사용하여 엔드 투 엔드 훈련을 수행하고, 메모리 제약 조건 하에서 성능 및 일반화 능력을 비교한다.

실험 결과

연구 질문

• RQ1 메모리 효율적인 훈련 알고리즘이 BPTT로 훈련된 모델이 메모리 제약으로 인해 해결하지 못하는 장거리 공간적 종속성을 반복형 CNN이 학습할 수 있는가?
• RQ2 안정성 정규화(LCP)와 RBP를 융합하면, 일정한 메모리 복잡도를 유지하면서도 모델의 표현력을 유지하는 훈련 방법을 얻을 수 있는가?
• RQ3 C-RBP로 훈련된 반복 모델은 피드포워드 모델보다 분포 외 데이터에 더 잘 일반화되는가?
• RQ4 C-RBP로 훈련된 반복 모델은 MS-COCO 패노픽 세그멘테이션과 같은 대규모 시각 벤치마크에서 더 적은 파라미터로 최고 성능을 달성할 수 있는가?
• RQ5 C-RBP로 훈련된 모델은 명시적 지도 없이 인간과 유사한 시각 루틴, 예를 들어 윤곽 추적 또는 플러드필 세그멘테이션을 학습하는가?

주요 결과

• BPTT로 훈련된 모델가 메모리 제약으로 실패하는 합성 윤곽 추적 작업에서 C-RBP로 훈련된 반복 모델이 장거리 공간적 종속성을 성공적으로 탐지했다.
• MS-COCO 패노픽 세그멘테이션 과제에서 C-RBP로 훈련된 반복 모델이 최신 피드포워드 접근 방식을 능가했으며, 파라미터 수를 약 800,000개 줄였다.
• C-RBP 모델은 BPTT로 훈련된 모델보다 분포 외 테스트 예제에 더 잘 일반화되어 있어 더 높은 강건성을 보였다.
• C-RBP를 통해 표준 NVIDIA Titan X GPU의 메모리 용량 내에서 장수열 반복 시퀀스에 대해서도 반복 시각 모델을 훈련할 수 있었다.
• C-RBP 모델에서 학습된 동역학은 명시적 지도 없이도 플러드필 알고리즘과 유사한 인간과 유사한 시각 루틴을 띠고 있었다.
• 리프시츠-상수 페널티(LCP)는 안정성과 표현력의 상충 관계를 성공적으로 해결하여, 높은 성능를 유지하면서도 안정적인 훈련을 가능하게 했다.