[논문 리뷰] Convolutional Analysis Operator Learning: Acceleration, Convergence, Application, and Neural Networks.

Il Yong Chun, Jeffrey A. Fessler|arXiv (Cornell University)|2018. 02. 15.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 전역 컨volutional 분석 연산자 학습(CAOL) 프레임워크를 제안하며, 수렴 속도를 가속화하고 국소적 접근 방식의 메모리 제약을 극복하기 위해 새로운 블록 프락시 그래디언트 방법을 사용한 주요자(BPG-M)를 도입한다. 직교 제약 조건과 다양성 촉진 정규화를 도입하여 희박한 시야 CT에서 뛰어난 재구성 품질을 확보하였으며, CNN 모듈과 수학적으로 동치임을 입증하였다.

ABSTRACT

Convolutional operator learning is increasingly gaining attention in many signal processing and computer vision applications. Learning kernels has mostly relied on so-called local approaches that extract and store many overlapping patches across training signals. Due to memory demands, local approaches have limitations when learning kernels from large datasets -- particularly with multi-layered structures, e.g., convolutional neural network (CNN) -- and/or applying the learned kernels to high-dimensional signal recovery problems. The so-called global approach has been studied within the synthesis signal model, e.g., convolutional dictionary learning, overcoming the memory problems by careful algorithmic designs. This paper proposes a new convolutional analysis operator learning (CAOL) framework in the global approach, and develops a new convergent Block Proximal Gradient method using a Majorizer (BPG-M) to solve the corresponding block multi-nonconvex problems. To learn diverse filters within the CAOL framework, this paper introduces an orthogonality constraint that enforces a tight-frame (TF) filter condition, and a regularizer that promotes diversity between filters. Numerical experiments show that, for tight majorizers, BPG-M significantly accelerates the CAOL convergence rate compared to the state-of-the-art method, BPG. Numerical experiments for sparse-view computational tomography show that CAOL using TF filters significantly improves reconstruction quality compared to a conventional edge-preserving regularizer. Finally, this paper shows that CAOL can be useful to mathematically model a CNN, and the corresponding updates obtained via BPG-M coincide with core modules of the CNN.

연구 동기 및 목표

• 대규모 또는 고차원 데이터셋으로 확장할 때 국소 컨volutional 연산자 학습에서 발생하는 메모리 병목 현상을 해결한다.
• CAOL에서 비볼록, 다중 블록 최적화 문제에 대해 기존 블록 반복 방법의 수렴 및 확장성 문제를 해결한다.
• 희박한 시야의 계산적 단층촬영과 같은 고차원 역문제에서 재구성 품질을 향상시킨다.
• 직교 제약 조건과 정규화를 통해 다양한 구조적 필터 학습을 가능하게 하여 표현 능력을 향상시킨다.
• CAOL과 컨volutional 신경망(CNN) 간의 수학적 연결 고리를 수립한다.

제안 방법

• 패치 추출 및 저장을 피하는 전역 CAOL 프레임워크를 제안하여 국소적 방법 대비 메모리 사용을 줄인다.
• 비볼록, 블록 구조 최적화 문제를 해결하기 위해 주요자(Majorizer)를 사용한 블록 프락시 그래디언트 방법(BPG-M)을 개발하여 수렴 보장이 가능하다.
• 안정적이고 다양한 필터 학습을 보장하기 위해 직교 제약 조건을 통한 타이트 프레임(TF) 필터 조건을 통합한다.
• 학습된 필터 간의 다양성을 명시적으로 촉진하기 위해 정규화를 도입하여 표현력과 재구성 정밀도를 향상시킨다.
• BPG-M를 사용해 유도된 업데이트 규칙이 컨볼루션 및 활성화 모듈과 같은 표준 CNN 레이어와 정확히 수학적으로 일치함을 도출한다.
• 주요화 기법을 활용해 하위 문제를 볼록화하여 효율적이고 안정적인 반복 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 전역 CAOL 프레임워크는 대규모 신호 복원 작업에서 국소적 방법 대비 메모리 효율성과 수렴 속도에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 BPG-M 방법은 비볼록, 다중 블록 CAOL 문제에서 표준 BPG 대비 수렴 성능을 어떻게 향상시키는가?
• RQ3 직교 제약 조건을 통한 타이트 프레임 조건을 강제로 적용할 경우 희박한 시야 CT에서 재구성 품질은 어느 정도 향상되는가?
• RQ4 다양성 촉진 정규화를 갖춘 CAOL은 다양한 신호 구조에 대해 보다 잘 일반화되는 필터를 학습할 수 있는가?
• RQ5 제안된 CAOL 프레임워크의 최적화 업데이트 규칙은 표준 CNN 모듈과 정확히 수학적으로 일치하는가?

주요 결과

• 타이트 주요자에 대해 BPG-M는 CAOL 최적화에서 최신 기술 대비 유의미하게 빠른 수렴 속도를 달성한다.
• 타이트 프레임 필터를 갖춘 CAOL은 전통적인 경계 보존 정규화 기법을 초월해 희박한 시야의 계산적 단층촬영에서 재구성 품질을 향상시킨다.
• 직교 제약 조건과 다양성 제약 조건 하에서 학습된 필터는 향상된 표현 능력과 안정성을 보인다.
• BPG-M를 통해 도출된 CAOL의 업데이트 규칙은 컨볼루션 및 활성화 레이어와 같은 표준 CNN의 핵심 구성 요소와 정확히 일치한다.
• 수치 실험을 통해 전역 CAOL 프레임워크가 고차원 신호 복원 작업에서도 높은 성능을 유지하는 것으로 확인되었다.
• 주요화와 블록 최적화의 통합은 비볼록, 다중 블록 설정에서 강력한 수렴 성능을 가능하게 한다.