[논문 리뷰] Unifying local and non-local signal processing with graph CNNs

Gilles Puy, Srđan Kitić외 1명|arXiv (Cornell University)|2017. 02. 24.

Advanced Graph Neural Networks참고 문헌 17인용 수 15

한 줄 요약

이 논문은 신호와 그 그래프 구조를 입력으로 받아 지역적이고 비국소적 신호 처리를 통합하는 그래프 컬러션 신경망(GCNN) 프레임워크를 제안한다. 이는 동적 그래프 구조에 적응하는 학습을 가능하게 하며, 이미지 및 음성 노이즈 제거에서 최신 기술을 초월하는 성능을 달성한다. 지역적 CNN보다 PSNR가 0.29 dB 향상되고, SNR가 0.35 dB 향상되며, 깊이가 얕은 두 개의 네트워크만으로도 엔드 투 엔드 스타일 전이를 구현할 수 있다.

ABSTRACT

This paper deals with the unification of local and non-local signal processing on graphs within a single convolutional neural network (CNN) framework. Building upon recent works on graph CNNs, we propose to use convolutional layers that take as inputs two variables, a signal and a graph, allowing the network to adapt to changes in the graph structure. In this article, we explain how this framework allows us to design a novel method to perform style transfer.

연구 동기 및 목표

• 동적 그래프 구조에 적응하는 단일 GCNN 프레임워크 내에서 지역적 및 비국소적 신호 처리를 통합하기 위해.
• 표준 CNN이 비정규 구조의 그래프와 신호 내 비국소적 의존성을 다루는 데 한계가 있음을 해결하기 위해.
• 다양한 신호 처리 작업을 위한 지역적 및 비국소적 처리의 최적 혼합을 엔드 투 엔드로 학습할 수 있도록 하기 위해.
• 최소한의 네트워크 깊이로도 이미지 및 음성 노이즈 제거, 이미지 스타일 전이에서 프레임워크의 효과성을 입증하기 위해.

제안 방법

• 신호와 그래프 구조를 모두 입력으로 받는 GCNN 아키텍처를 제안하여, 네트워크가 그래프 구조의 변화에 적응할 수 있도록 한다.
• 그래프 라플라시안을 기반으로 학습 가능한 필터를 사용하여 그래프 컬러션을 정의함으로써, 지역적 및 비국소적 수신 영역을 모두 구현한다.
• 신호 자체에서 유사도 기반 그래프를 구성하는 비국소 레이어를 도입하여 장거리 의존성을 포착한다.
• 이중 단계 학습 전략을 사용: 먼저 지역 네트워크를 사전 학습한 후, 아키텍처에 비국소 레이어를 추가하여 미세 조정한다.
• 신호 유사도에 기반한 비국소 그래프의 파arameterization을 적용하며, 적응형 가중치를 위한 학습 가능한 파라미터 α와 β를 사용한다.
• 이 프레임워크를 이미지 및 음성 노이즈 제거, 스타일 전이에 적용하여, 깊은 아키텍처 대신 얕은 두 개의 네트워크만으로도 구현한다.

실험 결과

연구 질문

• RQ1 단일 GCNN 프레임워크가 그래프 상에서 지역적 및 비국소적 신호 처리를 효과적으로 통합할 수 있는가?
• RQ2 GCNN는 신호 유사성에서 유도된 신호 의존적 또는 동적 그래프 구조에 어떻게 적응할 수 있는가?
• RQ3 최소한의 네트워크 깊이로도 제안된 프레임워크가 신호 복원 작업에서 경쟁적인 성능을 달성할 수 있는가?
• RQ4 지역적 및 비국소적 처리 사이의 최적 균형을 엔드 투 엔드로 얼마나 잘 학습할 수 있는가?

주요 결과

• 비국소 GCNN는 지역적 CNN보다 이미지 노이즈 제거 성능에서 PSNR 0.29 dB 향상되어 테스트 세트에서 29.42 dB에 도달한다.
• 비국소 GCNN는 음성 노이즈 제거에서 8.79 dB의 SNR를 기록하여 지역적 CNN(8.44 dB)과 웨이블릿 소프트 스레시홀딩(5.80 dB)을 모두 초월한다.
• 이 프레임워크는 깊이가 얕은 두 개의 네트워크만으로도 효과적인 이미지 스타일 전이를 가능하게 하여, 깊은 사전 학습된 모델이 필요 없도록 한다.
• 학습된 네트워크의 분석 및 복원 레이어에서의 특징 맵은 웨이블릿 필터와 유사하여, 학습된 희박 표현을 나타낸다.
• 분석 및 복원 레이어의 필터는 거의 서로 수반 관계를 이루며, 사전 학습 기반 딕셔너리 학습 원칙과 일치한다.
• 비국소 레이어의 도입이 첫 번째 레이어에서 학습된 필터 패턴에 크게 영향을 주지 않아, 안정적인 특징 학습이 이루어지고 있음을 시사한다.