[논문 리뷰] Learning Foveated Reconstruction to Preserve Perceived Image Statistics.

Luca Surace, Marek Wernikowski외 4명|arXiv (Cornell University)|2021. 08. 07.

Advanced Image Processing Techniques참고 문헌 55인용 수 5

한 줄 요약

이 논문은 인간의 망막 감도를 모방하여 희박한 샘플링 조건에서도 시각적 정밀도를 향상시키기 위해 GAN을 사용한 주시각 영역 중심 이미지 복원 방법을 제안한다. 생성기의 훈련을 시각적 중요도가 높은 이질성의 최소화를 통해 인지된 이미지 통계를 유지함으로써, 심리물리학적으로 유도된 샘플 밀도 민감도를 통합함으로써 희박한 샘플링 하에서 시각적 정밀도를 향상시킨다. 사용자 연구와 새로운 객관적 지표에서 기준 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Foveated image reconstruction recovers full image from a sparse set of samples distributed according to the human visual system's retinal sensitivity that rapidly drops with eccentricity. Recently, the use of Generative Adversarial Networks was shown to be a promising solution for such a task as they can successfully hallucinate missing image information. Like for other supervised learning approaches, also for this one, the definition of the loss function and training strategy heavily influences the output quality. In this work, we pose the question of how to efficiently guide the training of foveated reconstruction techniques such that they are fully aware of the human visual system's capabilities and limitations, and therefore, reconstruct visually important image features. Due to the nature of GAN-based solutions, we concentrate on the human's sensitivity to hallucination for different input sample densities. We present new psychophysical experiments, a dataset, and a procedure for training foveated image reconstruction. The strategy provides flexibility to the generator network by penalizing only perceptually important deviations in the output. As a result, the method aims to preserve perceived image statistics rather than natural image statistics. We evaluate our strategy and compare it to alternative solutions using a newly trained objective metric and user experiments.

연구 동기 및 목표

• 희박한 샘플만 존재하는 주시각 영역 중심 이미지 복원 문제를 해결하기 위해 인간의 망막 감도를 모방한다.
• 다양한 샘플 밀도에서 인간 시각 시스템(HVS)의 환각에 대한 민감도를 반영하여 훈련을 조정함으로써 복원 품질을 향상시킨다.
• 자연 이미지 통계를 유지하는 것에서 인지된 이미지 통계를 유지하는 데 초점을 옮기며, 인간의 시각 인지에 더 잘 부합하는 방식으로 전환한다.
• 복원된 이미지에서 시각적으로 중요한 이질성만 허용하는 민감도 기반의 탄력적인 훈련 전략을 개발한다.
• 새로운 객관적 지표와 사용자 실험을 통해 인지 품질 향상 여부를 평가한다.

제안 방법

• 다양한 입력 샘플 밀도에서 인간이 환각에 얼마나 민감한지 정량화하기 위해 새로운 심리물리적 실험을 수행한다.
• 이 실험에서 유도된 데이터셋을 활용하여 현실적인 HVS 제약 조건 하에서 주시각 영역 중심 복원 모델을 훈련하고 평가한다.
• HVS 민감도를 동적 페널티 함수로 사용하여 시각적 중요도에 따라 손실를 가중치를 적용하는 훈련 절차를 설계한다.
• 희박한 주시각 영역 샘플에서 전체 이미지를 복원하는 GAN 기반 생성기를 설계하며, 시각적으로 두드러진 오차를 최소화한다.
• 저민감도 영역(편심 영역)에서는 오차를 낮게 가중치를 줌으로써 중심 영역(주시 영역)에 집중하는 인지 기반 손실 함수를 적용한다.
• 새로운 훈련된 객관적 지표와 통제된 사용자 실험을 통해 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 주시각 영역 중심 이미지 복원에서 인간의 환각에 대한 민감도는 입력 샘플 밀도에 따라 어떻게 변화하는가?
• RQ2 GAN 기반 복원 모델이 자연 이미지 통계가 아닌 인지된 이미지 통계를 유지하도록 얼마나 잘 이끌 수 있는가?
• RQ3 심리물리학적으로 유도된 훈련 전략이 주시각 영역 중심 복원의 인지 품질 향상에 기여하는가?
• RQ4 제안된 방법은 사용자 연구와 객관적 지표에서 기준 GAN 및 전통적 복원 기법과 비교해 어떻게 성능을 냈는가?

주요 결과

• 시각적으로 중요한 영역에 훈련을 집중시킴으로써 제안된 방법은 주시 영역에서의 눈에 띄는 잡음과 기능을 줄이며 인지 품질을 크게 향상시켰다.
• 사용자 연구 결과, 제안된 HVS 인지 훈련 전략을 사용한 복원 결과가 기준 GAN보다 통계적으로 유의미하게 선호되었다.
• 새로운 객관적 지표는 인간의 인지와 강하게 상관관계를 보이며, 주시각 영역 중심 복원 품질 평가에 사용할 수 있음을 입증했다.
• 중앙 시각 영역 정확도를 우선시함으로써 고대비 및 에지가 많은 영역에서 복원 정밀도가 향상되었으며, 이는 인지 품질에 핵심적인 영향을 미친다.
• 다양한 샘플 밀도에서 뛰어난 안정성을 보이며, 낮은 샘플링 비율에서도 인지 품질을 유지했다.
• 결과적으로 인지된 이미지 통계를 유지하는 것이 자연 이미지 통계만 유지하는 것보다 더 자연스럽고 현실적인 복원을 이끌어낸다.