[논문 리뷰] Learning to Sample the Most Useful Training Patches from Images

Shuyang Sun, Liang Chen외 2명|arXiv (Cornell University)|2020. 11. 24.

Advanced Image Processing Techniques참고 문헌 42인용 수 7

한 줄 요약

이 논문은 이미지 복원 작업(예: 디모사이싱 및 공동 노이즈 제거 및 디모사이징)을 위한 자동으로 가장 정보가 많은(어려운) 학습 패치를 식별하고 우선순위를 정하는 데이터 기반 주도 학습 방법인 PatchNet을 제안한다. 각 패치의 학습 가능성 가중치를 학습하고, 이를 미분 가능한 이진화 메커니즘을 통해 적용함으로써, 추론 비용 없이도 PSNR에서 2.35 dB 향상시키며 일반화 성능을 향상시킨다. 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Some image restoration tasks like demosaicing require difficult training samples to learn effective models. Existing methods attempt to address this data training problem by manually collecting a new training dataset that contains adequate hard samples, however, there are still hard and simple areas even within one single image. In this paper, we present a data-driven approach called PatchNet that learns to select the most useful patches from an image to construct a new training set instead of manual or random selection. We show that our simple idea automatically selects informative samples out from a large-scale dataset, leading to a surprising 2.35dB generalisation gain in terms of PSNR. In addition to its remarkable effectiveness, PatchNet is also resource-friendly as it is applied only during training and therefore does not require any additional computational cost during inference.

연구 동기 및 목표

• 이미지 복원 데이터셋에서 어려운 고주파 패치가 부족한 장꼬리 분포 문제를 해결하기 위해.
• 시간이 오래 걸리고 최적화되지 않은 수동으로 어려운 학습 샘플을 선별하는 데 의존도를 줄이기 위해.
• 학습 및 테스트 데이터 분포가 다를 경우에도 모델의 일반화 성능을 향상시키기 위해.
• 추론 비용을 증가시키지 않으면서도 학습 효율성을 향상시키는 경량의, 학습 전용 메커니즘을 개발하기 위해.
• 패치의 내재된 어려움에 기반해 자동으로 적응적으로 정보가 많은 패치를 선택할 수 있도록 하기 위해.

제안 방법

• PatchNet는 이미지 패치를 처리하고 각 패치의 학습 유용성 스칼라를 출력하는 순방향 신경망이다.
• 각 패치는 학습 가능한 온도 하이퍼파라미터로 제어되는 미분 가능한 이진화 함수를 통해 비음수 가중치를 할당받는다.
• 학습 가능성 맵은 요소별 곱셈을 통해 적용되며, 손실 계산 시 가치가 낮은 패치를 마스킹한다.
• PatchNet과 복원 기반 모델을 포함한 전체 프레임워크는 가중치 손실 함수를 사용해 엔드 투 엔드로 훈련된다.
• PatchNet가 추출한 구조적 지식을 활용하기 위해 새로운 네트워크 아키텍처인 RestoreNet이 설계되었다.
• 이진화 함수는 온도 제어된 날카기 정도를 가진 시그모이드 기반 소프트플러스 근사치를 사용하여 안정성과 흐문함의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 데이터 기반 방법이 이미지 복원 작업에서 자동으로 가장 정보가 많은 학습 패치를 식별하고 우선순위를 정할 수 있는가?
• RQ2 어려운 패치를 학습으로 선택하는 것이, 학습 및 테스트 데이터 분포가 다를 경우에도 모델의 일반화 성능을 향상시키는가?
• RQ3 PatchNet은 추론 시 계산 비용을 추가하지 않고 성능 향상을 이룰 수 있는가?
• RQ4 패치의 적응적 선택은 복원 네트워크의 학습 역학에 어떤 영향을 미치는가?
• RQ5 PatchNet은 디모사이징 및 공동 노이즈 제거/디모사이징과 같은 장꼬리 문제에서 어느 정도 성능 향상을 이룰 수 있는가?

주요 결과

• 학습 및 테스트 데이터 분포가 다를 경우, PatchNet은 디모사이징 작업에서 PSNR를 2.35 dB 향상시켜 강력한 일반화 성능 향상을 입증한다.
• 학습 데이터가 쉽게 낮은 주파수 패치로 압도되어도 PatchNet은 활성적으로 에지와 텍스처와 같은 어려운 고주파 영역을 선택함으로써 효과적이다.
• PatchNet은 더 어려운 노이즈 수준(예: σ = 15)에서 더 뛰어난 성능을 보이며, 장꼬리 시나리오에서의 유용성을 확인한다.
• 학습 과정에서 학습 가능성 맵이 변화하며, 모델이 향상됨에 따라 더 쉽게 되는 패치를 점차 우선순위에서 제외한다.
• PatchNet을 사용해 훈련된 RestoreNet은 Vimeo-90k, MIT Moire, DIV-2k 데이터셋에서 공동 노이즈 제거 및 디모사이징 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.
• 시각화 결과는 PatchNet이 고주파, 고대비 영역(예: 격자 무늬와 에지)을 선호적으로 유지함을 확인한다. 이러한 영역은 아티팩트 발생에 더 취약하다.