[논문 리뷰] FRIH: Fine-grained Region-aware Image Harmonization

Jinlong Peng, Zekun Luo외 7명|arXiv (Cornell University)|2022. 05. 13.

Image and Signal Denoising Methods인용 수 5

한 줄 요약

이 논문은 지역별 특성에 맞는 조화를 이루는 세밀한 영역 인식 이미지 조화 기법인 FRIH를 제안한다. 이는 지역별로 조화를 조정함으로써 현실감을 향상시킨다. FRIH는 RGB 값 기반의 적응형 클러스터링과 특징 병합을 갖춘 경량 연쇄 모듈을 사용하여 국소적 세부 사항을 향상시키며, iHarmony4에서 38.19 dB PSNR를 기록하여 SOTA 성능을 달성했고, 파rameter 수는 11.98M에 불과하다.

ABSTRACT

Image harmonization aims to generate a more realistic appearance of foreground and background for a composite image. Existing methods perform the same harmonization process for the whole foreground. However, the implanted foreground always contains different appearance patterns. All the existing solutions ignore the difference of each color block and losing some specific details. Therefore, we propose a novel global-local two stages framework for Fine-grained Region-aware Image Harmonization (FRIH), which is trained end-to-end. In the first stage, the whole input foreground mask is used to make a global coarse-grained harmonization. In the second stage, we adaptively cluster the input foreground mask into several submasks by the corresponding pixel RGB values in the composite image. Each submask and the coarsely adjusted image are concatenated respectively and fed into a lightweight cascaded module, adjusting the global harmonization performance according to the region-aware local feature. Moreover, we further designed a fusion prediction module by fusing features from all the cascaded decoder layers together to generate the final result, which could utilize the different degrees of harmonization results comprehensively. Without bells and whistles, our FRIH algorithm achieves the best performance on iHarmony4 dataset (PSNR is 38.19 dB) with a lightweight model. The parameters for our model are only 11.98 M, far below the existing methods.

연구 동기 및 목표

• 기존 이미지 조화 기법이 전체 전경에 대해 균일한 처리를 적용함으로써 지역적 외관 차이를 忽시하는 한계를 해결하기 위해.
• 지역 색상 패턴과 구조적 특징을 기반으로 한 영역별 조화를 통해 복합 이미지의 현실감을 향상시키기 위해.
• 복잡한 아키텍처나 큰 파rameter 수에 의존하지 않고도 뛰어난 성능을 달성하는 경량의 종단 간 훈련 가능한 프레임워크를 설계하기 위해.
• 녹색 옷이나 빨간 장식물과 같이 색상이나 무늬가 뚜렷한 부분에서 세부 사항을 잘 보존하기 위해.
• 기준 데이터셋에서 정량적 지표와 인간 평가를 통해 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• 이 방법은 두 단계 프레임워크를 사용한다: 첫 번째 단계에서는 전체 전경 마스크를 사용한 U-Net 유사 인코더-디코더를 이용한 전역적인 굵은 조화.
• 두 번째 단계에서는 복합 이미지의 해당 픽셀 RGB 값에 기반해 전경 마스크를 하위 마스크로 적응형 클러스터링하여 영역 인식 처리를 가능하게 한다.
• 각 하위 마스크는 굵게 조정된 이미지와 연결되어 경량 연쇄 디코더 모듈을 통해 국소적 조화를 정밀하게 조정한다.
• 특징 융합 예측 모듈은 모든 디코더 레이어의 특징을 조합하여 다중 수준의 조화 결과를 종합적으로 활용하여 최종 출력을 도출한다.
• 전체 네트워크는 종단 간 훈련되어 전역 최적화를 보장하며, 하위 마스크 클러스터링은 입력 이미지 콘텐츠에 따라 동적으로 적응한다.
• 클러스터링 임계값 $d_c$ 는 최적 성능을 위해 0.1로 설정되며, 세분성과 노이즈 감소 사이의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 두 단계의 영역 인식 접근 방식이 지역 외관 패턴에 맞게 처리를 조정함으로써 이미지 조화를 향상시킬 수 있는가?
• RQ2 RGB 값에 기반한 전경 마스크의 적응형 클러스터링이 다양한 색상 영역에서 세부 사항을 더 잘 보존하는가?
• RQ3 단지 11.98M 파rameter를 가진 경량 모델이 PSNR와 인지적 품질 모두에서 기존 SOTA 방법을 능가할 수 있는가?
• RQ4 다중 수준 디코더 특징 융합이 단일 수준 예측에 비해 최종 조화 결과를 어떻게 향상시키는가?
• RQ5 사용자 연구를 통해 측정했을 때, 제안된 방법은 인간의 인지에 비해 얼마나 현실감을 향상시키는가?

주요 결과

• FRIH는 iHarmony4 데이터셋에서 38.19 dB의 최고 PSNR를 기록하여 기존 모든 SOTA 방법을 능가한다.
• 모델의 파rameter 수는 1198만 개에 불과하여 경쟁자들(예: DoveNet: 5476만, IIH: 4083만)보다 훨씬 적어 높은 효율성을 보여준다.
• 계산 비용은 25.12 GFLOPS로, DoveNet 및 RainNet과 같은 경량 모델과 유사하며, IIH(196.3 GFLOPS)보다 훨씬 낮다.
• 사용자 연구에서 FRIH는 733표(40.6% 선호도)를 확보하여 DoveNet(12.1%), RainNet(23.2%) 및 기타 SOTA 방법을 크게 앞서며 뚜렷한 우월성을 보였다.
• 정성적 결과에서 FRIH는 녹색 셔츠나 빨간 장식물과 같이 복잡한 영역에서 세부 사항을 더 잘 보존하는 것으로 나타났다. 반면 기준 방법들은 특정 색상 블록에서 실패하는 경향이 있었다.
• 절단 분석 결과, $d_c = 0.1$가 최적의 성능을 낸다. 너무 세밀한($d_c = 0.01$) 또는 너무 거친($d_c = 0.3, 0.4$) 클러스터링은 노이즈 또는 잘못된 클러스터링으로 인해 성능이 떨어진다.