[논문 리뷰] Training Image Estimators without Image Ground-Truth

Zhihao Xia, Ayan Chakrabarti|arXiv (Cornell University)|2019. 06. 13.

Advanced Image Processing Techniques참고 문헌 35인용 수 9

한 줄 요약

이 논문은 동일한 이미지의 두 가지 다른 측정값 간의 일관성을 강제하여, 진짜 이미지가 전혀 필요 없이 측정값 쌍만을 사용해 이미지 추정 네트워크를 훈련하는 비지도 딥러닝 프레임워크를 제안한다. 이 방법은 압축 감지 및 블라인드 디블러링에서 완전히 지도 학습한 결과와 거의 동일한 성능을 달성하며, 훈련 중에 측정 매개변수(예: 블러 커널)가 알려져 있지 않은 경우에도, 이미지 및 매개변수 추정기의 공동 훈련을 위한 프록시 감독 메커니즘을 사용한다.

ABSTRACT

Deep neural networks have been very successful in image estimation applications such as compressive-sensing and image restoration, as a means to estimate images from partial, blurry, or otherwise degraded measurements. These networks are trained on a large number of corresponding pairs of measurements and ground-truth images, and thus implicitly learn to exploit domain-specific image statistics. But unlike measurement data, it is often expensive or impractical to collect a large training set of ground-truth images in many application settings. In this paper, we introduce an unsupervised framework for training image estimation networks, from a training set that contains only measurements---with two varied measurements per image---but no ground-truth for the full images desired as output. We demonstrate that our framework can be applied for both regular and blind image estimation tasks, where in the latter case parameters of the measurement model (e.g., the blur kernel) are unknown: during inference, and potentially, also during training. We evaluate our method for training networks for compressive-sensing and blind deconvolution, considering both non-blind and blind training for the latter. Our unsupervised framework yields models that are nearly as accurate as those from fully supervised training, despite not having access to any ground-truth images.

연구 동기 및 목표

• 대규모 진짜 이미지 데이터를 수집하는 것이 비현실적이거나 과도하게 비용이 들 때, 딥러닝 기반 이미지 추정 네트워크를 훈련하는 데 도전하는 것.
• 진짜 이미지에 접근할 수 없으며, 오직 동일한 기저 이미지에서 유래한 측정값 쌍만을 기반으로 하는 비지도 훈련 프레임워크를 개발하는 것.
• 측정 매개변수(예: 블러 커널)가 훈련 중에 알려져 있지 않은 블라인드 설정으로 이 방법을 확장하는 것.
• 진짜 이미지가 전혀 없는 조건에서도, 일관성 기반 감독이 완전히 지도 학습 기반 모델과 거의 동일한 정확도를 달성할 수 있음을 보여주는 것.
• 의료 영상 및 천문학 등 진짜 데이터가 부족한 분야에서 딥러닝의 활용을 가능하게 하는 것.

제안 방법

• 이 방법은 일관성 강제 기반으로 딥 이미지 추정기 네트워크를 훈련한다: 한 측정값에서 유도된 예측이 해당 측정 매개변수를 사용해 재측정되었을 때 다른 측정값과 일관성이 있어야 한다.
• 비블라인드 설정에서는 측정 매개변수(예: 압축 매트릭스 또는 블러 커널)가 알려져 있으며, 이를 사용해 스왑-측정 및 자기-측정 손실을 계산한다.
• 블라인드 설정에서는 이미지 추정기와 함께 공동으로 훈련되는 별도의 매개변수 추정기 네트워크를 사용하며, 훈련 도중 이미지 네트워크의 예측 결과로부터 생성된 동적 프록시 훈련 세트를 활용한다.
• 프록시 세트는 예측된 이미지에서 무작위로 선택된 알려진 매개변수를 사용해 합성 측정값을 생성함으로써 만들어지며, 이는 이미지 및 매개변수 추정기 양쪽에 대한 감독을 제공한다.
• 공유 인코더 아키텍처를 사용하고, 매개변수 추정을 위한 별도의 디코더 경로를 갖추어, 블라인드 케이스에서 엔드 투 엔드 훈련을 가능하게 한다.
• 손실 함수에는 측정 일관성 기반의 일관성 손실과, 비블라인드 및 블라인드 설정 모두에서 훈련 안정성과 성능 향상을 위한 프록시 손실이 포함된다.

실험 결과

연구 질문

• RQ1 진짜 이미지가 전혀 없이, 동일한 이미지에서 유래한 측정값 쌍만을 사용해 이미지 추정 네트워크를 효과적으로 훈련시킬 수 있는가?
• RQ2 일관성 기반 감독은 이미지 복원 및 디블러링 작업에서 완전히 지도 학습한 결과와 비교해 얼마나 잘 성능을 내는가?
• RQ3 측정 매개변수가 훈련 중에 알려져 있지 않은 블라인드 설정으로도 이 방법이 일반화될 수 있는가?
• RQ4 진짜 이미지가 없는 조건에서 프록시 감독 메커니즘을 통합할 경우 모델 성능에 어떤 영향을 미치는가?
• RQ5 이 프레임워크는 압축 감지 및 블라인드 디블러링과 같은 다양한 영상 작업에 적용될 수 있으며, 최소한의 데이터 요구 조건으로도 기능하는가?

주요 결과

• 비지도 방법은 Helen 얼굴 디블러링 데이터셋에서 PSNR 25.95 dB, SSIM 0.878을 달성했으며, 이는 지도 학습 기반 베이스라인(26.13 dB PSNR, 0.886 SSIM)과 거의 동일한 성능이다.
• 비블라인드 훈련에서 프록시 손실을 제거하면 성능이 25.47 dB PSNR로 떨어지며, 이는 진짜 이미지가 없이도 정확도를 유지하는 데 프록시 손실이 핵심적인 역할을 한다는 것을 보여준다.
• 블라인드 훈련 변형은 Helen 데이터셋에서 25.93 dB PSNR, 0.876 SSIM을 기록했으며, 진짜 이미지나 블러 커널에 접근할 수 없음에도 불구하고 지도 학습 기반 베이스라인과 거의 동일한 성능을 달성했다.
• 그림 3의 정성적 결과는 비지도 모델에서 생성된 디블러딩 출력이 지도 학습 기반 베이스라인 및 최신 기술과 시각적으로 유사하다는 것을 보여준다.
• 그림 4에 시각화된 바와 같이, 블라인드 훈련 중에 학습된 커널 추정기의 성능이 블러 커널을 정확하게 예측할 수 있었으며, 이는 정확한 측정 일관성 강제를 가능하게 했다.
• 이 방법은 진짜 이미지를 수집하기 어려운 데이터가 부족한 분야인 의료 영상 및 천문학 영상에서 고성능 이미지 추정 네트워크를 훈련할 수 있도록 한다.