[논문 리뷰] Convolutional Bipartite Attractor Networks

Michael L. Iuzzolino, Yoram Singer외 1명|arXiv (Cornell University)|2019. 06. 08.

Advanced Image Processing Techniques참고 문헌 46인용 수 6

한 줄 요약

이 논문은 이미지 인paint링 및 슈퍼해상도에서 패턴 복구를 위해 에너지 최소화 역학을 활용하는 새로운 컨volution형 이분형 순환 아키텍처인 컨volution형 이분형 매력점 네트워크(CBANs)를 소개한다. 고유한 훈련 손실, 새로운 활성화 함수, 가중치 동기화 연결을 조합함으로써 CBANs는 이미지 복구 작업에서 최신 기술 수준의 성능을 달성하고 슈퍼해상도에서 경쟁력 있는 결과를 내며, 인간의 시각적 품질 평가 기준(SSIM)에서 베이스라인을 능가하면서도 계산 효율성을 유지한다.

ABSTRACT

In human perception and cognition, a fundamental operation that brains perform is interpretation: constructing coherent neural states from noisy, incomplete, and intrinsically ambiguous evidence. The problem of interpretation is well matched to an early and often overlooked architecture, the attractor network---a recurrent neural net that performs constraint satisfaction, imputation of missing features, and clean up of noisy data via energy minimization dynamics. We revisit attractor nets in light of modern deep learning methods and propose a convolutional bipartite architecture with a novel training loss, activation function, and connectivity constraints. We tackle larger problems than have been previously explored with attractor nets and demonstrate their potential for image completion and super-resolution. We argue that this architecture is better motivated than ever-deeper feedforward models and is a viable alternative to more costly sampling-based generative methods on a range of supervised and unsupervised tasks.

연구 동기 및 목표

• 기존의 매력점 네트워크가 고차원의 복잡한 시각 데이터를 다루는 데에 한계를 보이는 점을 보완하기 위해 현대 딥 러닝 기법들을 통합한다.
• 고전적 히브시안 학습의 제약을 극복하고, 은닉 유닛과 더 깊은 아키텍처를 갖춘 매력점 네트워크의 효과적인 훈련을 가능하게 한다.
• 매력점 네트워크가 감독 및 비감독 이미지 작업을 위한 딥 프eed포워드 및 샘플링 기반 생성 모델의 실용적이고 효율적인 대안이 될 수 있음을 보여준다.
• 매력점 역학이 동적 계산 자원을 할당하면서 제약 만족 문제인 이미지 인paint링 및 슈퍼해상도를 해결하는 데서의 잠재력을 탐색한다.

제안 방법

• 보기층과 은닉층이 별도로 구성된 이분형 아키텍처를 제안하며, 활성화 값이 번갈아가며 갱신되어 매력점 역학을 시뮬레이션한다.
• 재구성된 출력과 진짜 값 간의 에너지 차이를 최소화하는 데 기반한 새로운 훈련 손실을 도입하여 일관된 해석으로 수렴하도록 유도한다.
• 안정적인 훈련을 지원하고 완성되지 않은 또는 노이즈가 있는 입력을 반복적으로 개선할 수 있도록 하는 고유한 활성화 함수를 활용한다.
• 전방 및 후방 연결 간에 가중치 동기화 제약 조건(W = W^T)을 적용하여 에너지 기반 역학을 보장하고 훈련을 단순화한다.
• 공간 계층 구조를 유지하고 변환 불변 처리를 가능하게 하기 위해 층 간에 평균 풀링과 컨볼루션 필터를 적용한다.
• 보기층과 은닉층의 단위를 번갈아가며 갱신하는 이중 단계 업데이트 스케줄을 사용하여 반복적 제약 만족를 모방한다.

실험 결과

연구 질문

• RQ1 매력점 네트워크는 이미지 복구 및 슈퍼해상도와 같은 대규모 현대 비전 작업으로 효과적으로 확장될 수 있는가?
• RQ2 현대 훈련 기법을 적용한 컨볼루션형 이분형 매력점 아키텍처가 표준 프리드포워드 및 생성 모델보다 시각적 품질과 효율성 면에서 뛰어난가?
• RQ3 딥 컨볼루션 네트워크에서 에너지 기반 역학이 추론 시 샘플링이나 반복적 개선 없이도 이미지 복원 작업에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 제안된 훈련 손실과 활성화 함수는 은닉 유닛을 갖춘 매력점 네트워크의 수렴성과 안정성을 어떻게 향상시키는가?

주요 결과

• CBANs는 CIFAR-10과 Omniglot과 같은 도전적인 데이터셋에서 특히 뛰어난 SSIM 점수를 기록하며, 이미지 복구 작업에서 뛰어난 시각적 품질을 달성한다.
• ×2 슈퍼해상도에서 Set5 데이터셋에서 PSNR 34.18, SSIM 0.947을 기록하며, 이는 이중 보간 베이스라인을 능가하고 여러 선도적인 모델과 SSIM에서 동등하거나 슈퍼어리어를 기록한다.
• 재구성된 이미지에서 더 선명한 윤곽선과 더 일관된 질감을 생성하여 효과적인 제약 만족 및 패턴 복구를 보여준다.
• 모델은 CD-VAE 및 CBAN-noTD를 항상 능가하며, 제안된 훈련 손실과 가중치 동기화 아키텍처의 중요성을 입증한다.
• 전치 제약 조건이 없는 CBAN-asym의 경우 종종 아티팩트와 한계 순환을 유발하여, 안정적인 복구를 위해 가중치 동기화 설계가 필수적임을 시사한다.
• CBANs의 훈련 비용은 깊은 프리드포워드 네트워크와 유사하여 실세계 응용에 대한 실용성을 보여준다.