[논문 리뷰] From Posterior Sampling to Meaningful Diversity in Image Restoration

Noa Cohen, H Manor외 2명|arXiv (Cornell University)|2023. 10. 24.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

이 논문은 다각도의 이미지 복원에서 사후 표본 추출의 일반적인 관행을 도전하며, 이는 중량 꼬리 분포로 인해 의미적으로 중복되는 출력을 생성하기 때문에 문제가 된다고 주장한다. 의미적 차이를 최대화함으로써 의미적으로 다양하게 복원하는 데 초점을 맞춘 사후 처리 기법과 경량 디퓨전 기반 방법을 제안하며, 사용자 연구에서 사후 표본 추출보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

Image restoration problems are typically ill-posed in the sense that each degraded image can be restored in infinitely many valid ways. To accommodate this, many works generate a diverse set of outputs by attempting to randomly sample from the posterior distribution of natural images given the degraded input. Here we argue that this strategy is commonly of limited practical value because of the heavy tail of the posterior distribution. Consider for example inpainting a missing region of the sky in an image. Since there is a high probability that the missing region contains no object but clouds, any set of samples from the posterior would be entirely dominated by (practically identical) completions of sky. However, arguably, presenting users with only one clear sky completion, along with several alternative solutions such as airships, birds, and balloons, would better outline the set of possibilities. In this paper, we initiate the study of meaningfully diverse image restoration. We explore several post-processing approaches that can be combined with any diverse image restoration method to yield semantically meaningful diversity. Moreover, we propose a practical approach for allowing diffusion based image restoration methods to generate meaningfully diverse outputs, while incurring only negligent computational overhead. We conduct extensive user studies to analyze the proposed techniques, and find the strategy of reducing similarity between outputs to be significantly favorable over posterior sampling. Code and examples are available at https://noa-cohen.github.io/MeaningfulDiversityInIR.

연구 동기 및 목표

• 사후 표본 추출을 사용할 경우 높은 확률, 의미적으로 유사한 출력이 지배하는 이미지 복원에서의 개념적 결함을 규명하는 것.
• 이미지 인painting 및 초해상도 복원과 같은 작업에서 표준 사후 표본 추출이 가능한 의미적 해법의 전반적인 범위를 올바르게 표현하지 못하는 이유를 분석하는 것.
• 의미적으로 다양한, 시각적으로 의미 있는 이미지 복원을 생성하는 실용적인 사후 처리 및 생성 전략을 개발하는 것.
• 사용자 연구를 통해 이러한 전략을 평가하고, 사후 표본 추출 대비 솔루션 다양성을 전달하는 데서의 슈퍼리어함을 입증하는 것.

제안 방법

• 특징 공간 내 의미적 거리의 최대화를 위해, 사후 표본 집합에서 다각도의 출력을 선택하기 위한 가장 먼 점 샘플링(Farthest-Point Sampling, FPS)을 사용하는 사후 처리 서브샘플링 전략을 제안한다.
• 시각적 유사도에 따라 복원 결과를 정렬하는 계층적 트리 기반 탐색 구조를 도입하여, 사용자가 다수의 수준에서 의미적으로 유사한 해법을 상호작용적으로 탐색할 수 있도록 한다.
• 역소거 과정을 수정하여 의미적으로 다른 표본을 선호하도록 하는, 다양성 가이던스를 갖춘 디퓨전 기반 생성 방법을 개발하였으며, 계산 비용은 극히 낮다.
• 특징 공간 거리(예: 사전 학습된 속성 예측기 사용)를 활용하여 의미적 유사도를 측정하고, 서브샘플링 및 트리 구축에 안내한다.
• 최근접 이웃 분할 기법을 사용하여 나머지 이미지를 계층적 트리의 대표 표본에 할당함으로써, 세밀한 의미적 그룹화를 보장한다.
• 기존의 디퓨전 모델인 DDRM과 RePaint를 사용하여 이미지 인painting, 초해상도 복원, 압축 아티팩트 제거 등 여러 작업에 이 방법을 적용하였다.

실험 결과

연구 질문

• RQ1 왜 이미지 복원에서 사후 표본 추출은 많은 표본을 생성함에도 불구하고 시각적으로 다양하지 않은 출력을 자주 생성하는가?
• RQ2 이미지 복원에서 '의미적인 다양성'은 무엇을 의미하며, 이를 정량적으로 측정하거나 달성할 수 있는가?
• RQ3 가장 먼 점 샘플링과 같은 사후 처리 기법이 기존 생성 모델의 출력 다양성에 뚜렷한 향상을 줄 수 있는가?
• RQ4 최소한의 계산 비용 증가로도 디퓨전 기반 모델에서 의미적으로 다양한 생성을 가능하게 할 수 있는가?
• RQ5 사용자들은 실제 이미지 복원 작업에서 의미적으로 다양한 복원 결과를 사후 표본 추출 결과보다 어떻게 인식하고 선호하는가?

주요 결과

• 이미지 복원에서 사후 표본 추출은 높은 확률, 의미적으로 유사한 출력으로 인해 지배되며, 예를 들어 인painting에서 여러 번의 하늘 복원과 같은 사례에서 시각적 다양성이 낮다.
• 사용자 연구 결과, 의미적 거리의 최대화를 추구하는 기법(예: 가장 먼 점 샘플링)은 사후 표본 추출 대비 솔루션 다양성을 전달하는 데서 뚜렷이 선호됨을 확인하였다.
• 제안된 계층적 트리 구조는 의미적으로 유사한 대안을 탐색할 수 있는 직관적이고 상호작용적인 복원 결과 탐색을 가능하게 하였다.
• 디퓨전 기반 다양성 가이던스 방법은 유의미한 다양성을 달성하면서도 추론 시간 증가가 극히 미미하여 실용적인 실세계 구현에 적합하다.
• FPS 및 균일화와 같은 서브샘플링 기법은 여러 데이터셋과 작업에서 정성적·정량적 평가에서 난이도 없는 사후 표본 추출보다 뛰어난 성능을 보였다.
• 사후 표본 추출이 조밀한 의미적 속성(예: 표정, 액세서리, 물체)을 표현하지 못하는 상황에서도, 이 방법은 해당 속성이 희귀한 경우에도 이를 성공적으로 포착하였다.