[논문 리뷰] Learning Invariant Representation for Unsupervised Image Restoration

Wenchao Du, Hu Chen외 1명|arXiv (Cornell University)|2020. 03. 28.

Advanced Image Processing Techniques참고 문헌 42인용 수 8

한 줄 요약

이 논문은 적대적 도메인 적응과 자기 지율적 제약 조건을 통해 노이즈와 콘텐츠 특징을 분리하여 쌍이 맞지 않는 노이즈 있는 이미지와 청소년 이미지에서 불변 표현을 학습하는 비지도 이미지 복원 방법을 제안한다. 이 방법은 기존의 도메인 적응 방법보다 더 빠르고 안정적인 수렴을 보이며, 합성 노이즈와 실제 세계 노이즈 제거에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, cross domain transfer has been applied for unsupervised image restoration tasks. However, directly applying existing frameworks would lead to domain-shift problems in translated images due to lack of effective supervision. Instead, we propose an unsupervised learning method that explicitly learns invariant presentation from noisy data and reconstructs clear observations. To do so, we introduce discrete disentangling representation and adversarial domain adaption into general domain transfer framework, aided by extra self-supervised modules including background and semantic consistency constraints, learning robust representation under dual domain constraints, such as feature and image domains. Experiments on synthetic and real noise removal tasks show the proposed method achieves comparable performance with other state-of-the-art supervised and unsupervised methods, while having faster and stable convergence than other domain adaption methods.

연구 동기 및 목표

• 쌍이 맞지 않는 훈련 데이터가 없는 비지도 이미지 복원의 과제를 해결하며, 특히 실제 세계의 노이즈 유형에 대해 적용 가능하도록 한다.
• 이미지 복원을 위한 기존 비지도 도메인 전이 방법에서 발생하는 도메인 이동과 낮은 일반화 성능 문제를 해결한다.
• 이중 도메인 제약 조건(특징 도메인 및 이미지 도메인)을 사용하여 쌍이 맞지 않는 노이즈 있는 데이터에서 강력하고 노이즈 없는 불변 표현을 학습한다.
• 배경 일致성 및 의미 일치성과 같은 자기 지율적 모듈을 통합하여 시각적 품질 향상과 세부 사항 유지 보존을 도모한다.
• 기존의 비지도 도메인 적응 프레임워크보다 더 빠르고 안정적인 훈련 수렴을 달성한다.

제안 방법

• 손상된 이미지 내의 콘텐츠와 노이즈 성분을 분리하기 위해 이산적 분리 표현을 도입한다.
• 청소도메인 분포에 특징을 정렬하기 위해 표현 판별자와 함께 적대적 도메인 적응을 적용한다.
• 대부분의 자기 지율적 모듈인 배경 일치성 및 의미 일치성 제약 조건을 통합하여 표현 학습을 안내한다.
• 대부분의 도메인 제약 조건—특징 수준과 이미지 수준—을 함께 최적화하는 표현 및 재구성 손실을 통해 강제로 적용한다.
• 에이다에이터 스타일의 인코더, 공유 가중치 생성자, 도메인 판별자를 포함하는 엔드 투 엔드 훈련 프레임워크를 사용한다.
• 쌍이 맞는 청소년-노이즈 데이터가 필요 없이도 분리된 표현을 활용해 청소년 이미지를 재구성한다.

실험 결과

연구 질문

• RQ1 불변 표현 학습은 쌍이 맞지 않는 훈련 데이터 없이도 비지도 이미지 복원 성능을 향상시킬 수 있는가?
• RQ2 분리된 표현과 자기 지율적 제약 조건은 노이즈 있는 이미지 복원에서 특징의 강건성을 어떻게 향상시키는가?
• RQ3 이중 도메인 제약 조건을 갖춘 적대적 도메인 적응은 표준 도메인 전이 방법보다 더 빠르고 안정적인 수렴을 이끌 수 있는가?
• RQ4 제안된 방법은 합성 가우시안 노이즈 외에도 저선량 CT 아티팩트와 같은 실제 세계 노이즈 유형으로 일반화 가능한가?
• RQ5 성분 제거 실험(예: 적대적 손실 또는 일치성 모듈 제거)은 재구성 품질과 수렴 안정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 합성 가우시안 노이즈 제거에서 기존 최고 수준의 지도 및 비지도 방법과 경쟁하는 PSNR 및 SSIM 성능을 달성한다.
• 실제 세계의 저선량 CT 노이즈 제거에서, 방법은 BM3D, DIP, RedCNN보다 뛰어난 시각적 품질을 보이며 세부 구조를 유지하고 아티팩트를 감소시킨다.
• 제거 실험 결과, 표현 적대적 네트워크를 제거하면 고주파 영역에서 아티팩트가 발생함을 확인하여, 이는 특징 품질 향상에 중요한 역할을 함을 시사한다.
• 배경 일치성 제약 조건을 생략할 경우 밝기 일치성이 떨어지고 세부 사항이 흐려지므로, 이는 이미지 수준의 지도 역할을 수행함을 강조한다.
• 10만 번의 반복 동안의 훈련 손실 곡선을 통해, DRNet 및 기타 도메인 적응 기반 방법보다 더 빠르고 안정적인 수렴을 보임을 확인했다.
• BSD-68 데이터셋에서의 정량적 결과로, 표준편차 σ=25인 가우시안 노이즈에 대해 PSNR 30.12 dB를 달성하여 최신 기술 수준의 방법과 유사한 성능을 보였다.