[논문 리뷰] Multiscale Deep Equilibrium Models

Shaojie Bai, Vladlen Koltun외 1명|arXiv (Cornell University)|2020. 06. 15.

Markov Chains and Monte Carlo Methods참고 문헌 63인용 수 53

한 줄 요약

MDEQ는 서로 다른 해상도에서 동기화된 평형을 해석하는 얕고, 암시적, 다중 스케일 평형 모델을 도입하여 학습 중 메모리를 상수로 유지하면서 경쟁력 있는 ImageNet 분류 및 Cityscapes 세분화를 가능하게 한다.

ABSTRACT

We propose a new class of implicit networks, the multiscale deep equilibrium model (MDEQ), suited to large-scale and highly hierarchical pattern recognition domains. An MDEQ directly solves for and backpropagates through the equilibrium points of multiple feature resolutions simultaneously, using implicit differentiation to avoid storing intermediate states (and thus requiring only $O(1)$ memory consumption). These simultaneously-learned multi-resolution features allow us to train a single model on a diverse set of tasks and loss functions, such as using a single MDEQ to perform both image classification and semantic segmentation. We illustrate the effectiveness of this approach on two large-scale vision tasks: ImageNet classification and semantic segmentation on high-resolution images from the Cityscapes dataset. In both settings, MDEQs are able to match or exceed the performance of recent competitive computer vision models: the first time such performance and scale have been achieved by an implicit deep learning approach. The code and pre-trained models are at https://github.com/locuslab/mdeq .

연구 동기 및 목표

• 명시적 심층 스택 없이도 비전에서 다중 스케일 구조를 처리할 수 있는 모델 클래스를 제안하는 것.
• 다중 해상도를 동시에 평형 상태로 유지하는 암시적, 단일 단계 아키텍처를 개발하는 것.
• 다른 스케일에서 보조 손실을 통해 다중 작업(예: 분류와 분할)을 함께 학습할 수 있도록 하는 것.
• 메모리를 효율적으로 관리하면서 암시적 모델의 대규모 비전 작업에 대한 확장성을 입증하는 것.
• 일반 DL 기법의 MDEQ에 대한 실용적 학습 동역학 및 호환성을 조사하는 것.

제안 방법

• 여러 해상도를 나란히 보존하고 공동 평형으로 이끌어 주는 다중 스케일 변환 f_theta를 정의한다.
• 가장 높은 해상도 스트림에만 입력 x를 주입하여 해상도 간 흐름을 결합한다.
• 고정점 해석기(제한된 메모리 브로이든)를 사용하여 모든 스케일에 걸친 평형 z*를 찾는다.
• 그룹 정규화를 갖춘 스케일별 모듈과 해상도 간 특징을 혼합하는 다중 스케일 융합 단계를 사용하는 잔차 블록 기반 모듈을 적용한다.
• 야코비-벡터 곱(Jacobian-vector products)을 통한 평형까지 미분 가능한 역전파를 제공한다(암시적 미분).
• 여러 스케일에서 보조 손실을 허용하여 다중 작업 학습 및 전이(예: ImageNet에서의 사전 학습 및 분할에서의 미세 조정)를 가능하게 한다.

실험 결과

연구 질문

• RQ1 명시적 계층 스택을 포기하는 암시적 모델이 비전과 같이 풍부한 다중 스케일 구조를 가진 작업에서 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ2 동시 다중 스케일 평형이 단일 모델에서 고수준 레이블과 밀도 예측 모두를 지원할 수 있는가?
• RQ3 메모리 효율적인 암시적 해법이 명시적 아키텍처와 비교하여 대규모 비전 작업에서 어떻게 성능을 보이는가?
• RQ4 고해상도 데이터에서 MDEQ를 안정적으로 학습시키기 위해 필요한 실용적 적응(정규화, 드롭아웃, 초기화)은 무엇인가?
• RQ5 하나의 MDEQ 모델을 한 작업에서 사전 학습한 후 다양한 스케일의 보조 손실을 통해 관련 작업으로 어느 정도 전이할 수 있는가?

주요 결과

• MDEQ는 비슷한 매개변수 수를 가진 경쟁적인 명시적 모델의 성능에 필적하거나 이를 능가한다, ImageNet 분류에서.
• Cityscapes에서 MDEQ는 높은 mIoU를 달성하며, 더 큰 모델은 최신 성능에 근접하면서도 명시적 백본보다 적은 메모리를 사용한다.
• 작은 MDEQ(18M)는 ImageNet과 CIFAR-10에서 유사 크기의 여러 명시적 모델보다 성능이 더 우수하여 효과적인 다중 스케일 암시적 모델링을 보여준다.
• 제한된 메모리 브로이든 메서드로의 학습은 메모리 효율성을 유지하고 메가픽셀 규모에서도 학습을 가능하게 한다.
• MDEQ는 얕은 암시적 모델이 대규모 비전 작업으로 확장될 수 있으며 광범위한 층별 깊이 없이도 경쟁력 있는 정확도를 제공할 수 있음을 보여준다.