[논문 리뷰] A Flexible Framework for Designing Trainable Priors with Adaptive Smoothing and Game Encoding

Bruno Lecouat, Jean Ponce외 1명|arXiv (Cornell University)|2020. 06. 26.

Sparse and Compressive Sensing Techniques인용 수 7

한 줄 요약

이 논문은 비연속적인 볼록 최적화 문제를 게임 이론적 수식으로 해석하고 적응형 스무딩 및 정규화를 통해 유연하고 엔드 투 엔드로 학습 가능한 프레임워크를 제안한다. 이는 총합 제약, 양방향 필터링, 비국소 자기유사성과 같은 다양한 해석 가능한 영상 프리오르를 딥 러닝 모델에 통합할 수 있게 하여 최대 50배 적은 파라미터로 최신 기술 수준의 성능을 달성하고 데이터 효율성을 향상시킨다.

ABSTRACT

We introduce a general framework for designing and training neural network layers whose forward passes can be interpreted as solving non-smooth convex optimization problems, and whose architectures are derived from an optimization algorithm. We focus on convex games, solved by local agents represented by the nodes of a graph and interacting through regularization functions. This approach is appealing for solving imaging problems, as it allows the use of classical image priors within deep models that are trainable end to end. The priors used in this presentation include variants of total variation, Laplacian regularization, bilateral filtering, sparse coding on learned dictionaries, and non-local self similarities. Our models are fully interpretable as well as parameter and data efficient. Our experiments demonstrate their effectiveness on a large diversity of tasks ranging from image denoising and compressed sensing for fMRI to dense stereo matching.

연구 동기 및 목표

• 도메인 특화 영상 프리오르를 엔드 투 엔드로 학습 가능한 딥 네트워크에 통합하기 위한 일반적이고 해석 가능한 프레임워크를 개발하는 것.
• 간단하고 미분 가능한 프리오르에 의존하거나 해석 불가능한 기존 방법의 한계를 극복하는 것.
• 총합 제약과 비국소 자기유사성과 같은 복잡한 비연속 정규화 함수를 효율적으로 학습하는 것.
• 특히 의료나 과학적 영상에서 흔한 저자료 환경에서 파라미터 및 데이터 효율성을 향상시키는 것.
• 최적화 편환을 통한 수학적으로 탄탄한 해석을 바탕으로 신경망 결정의 기능적 의미를 제공하는 것.

제안 방법

• 지역 에이전트(그래프의 노드) 간의 비협력적 볼록 게임으로 영상 복원 문제를 설정하며, 각 에이전트는 공통 정규화를 가진 국소 최적화 문제를 해결한다.
• 비연속 항목(예: 총합 제약, ℓ1-노름)을 처리하기 위해 Moreau-Yosida 정규화 기법을 사용하여 최적화를 미분 가능하게 한다.
• 최종적으로 유도된 최적화 알고리즘을 신경망 아키텍처로 편환하며, 각 레이어는 알고리즘의 반복 단계에 대응한다.
• 적응형 스무딩 및 게임 인코딩을 도입하여 정규화 강도와 공간적으로 떨어진 패치 간 상호작용을 동적으로 조절한다.
• 데이터로부터 모델 파라미터와 정규화 함수의 구조를 함께 학습하기 위해 이중 최적화 설정을 사용한다.
• 예: 희소 코딩, 라플라시안 정규화, 비국소 자기유사성 등 다양한 프리오르를 통합할 수 있는 통합적이고 학습 가능한 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 일관된 프레임워크로 복잡한 비연속 영상 프리오르를 엔드 투 엔드로 학습하면서도 해석 가능성을 유지할 수 있는가?
• RQ2 게임 이론적 정규화 통합이 저자료 또는 고복잡도 영상 작업에서 성능을 어떻게 향상시키는가?
• RQ3 게임 기반 프레임워크에서의 적응형 스무딩과 비국소 상호작용이 훨씬 적은 파라미터로도 표준 딥 네트워크를 능가할 수 있는가?
• RQ4 이 프레임워크는 노이즈 제거, fMRI 재구성, 스테레오 매칭 등 다양한 영상 작업에 얼마나 일반화될 수 있는가?
• RQ5 표준 CNN과 비교해 복잡한 학습 데이터가 제한된 경우 모델 성능이 어떻게 변화하는가?

주요 결과

• 제안된 프레임워크는 영상 노이즈 제거, 압축 fMRI 재구성, 밀도 높은 스테레오 매칭에서 최신 기술 수준의 성능을 달성하거나 초월한다.
• 비국소 자기유사성 정규화를 통합한 학습 가능한 총합 제약 버전은 KITTI2015 스테레오 매칭에서 3-pixel 오차 2.10 ± 0.03을 기록하며, 파라미터 수가 50배 적은 PSMNet를 능가한다.
• 저자료 환경에서는 CNN 기반 모델 대비 성능 격차가 더욱 벌어지며, 이는 의료 영상에서 매우 중요한 데이터 효율성 향상을 시사한다.
• 기존 표준 CNN에 비해 파라미터 수를 최대 50배 줄였지만 정확도를 유지하거나 향상시켰다.
• 사전 학습된 스테레오 모델에 TV 블록을 통합하면 10회 반복 실험 전반에 걸쳐 일관되게 성능 향상이 발생하며, 추가 파라미터도 최소한으로 된다.
• 명확한 수학적 의미를 가진 해석 가능한 모델을 엔드 투 엔드로 학습할 수 있게 하여 블랙박스 아키텍처에 대한 의존도를 감소시켰다.