[논문 리뷰] PyTorch Image Quality: Metrics for Image Quality Assessment

Sergey Kastryulin, Jamil Zakirov외 2명|arXiv (Cornell University)|2022. 08. 31.

Image Enhancement Techniques인용 수 11

한 줄 요약

이 논문은 풀레퍼런스, 노레퍼런스, 분포기반 카테고리에 걸쳐 38개 이상의 이미지 품질 평가(IQA) 지표를 구현한 오픈소스이며 GPU 가속 기능을 갖춘 라이브러리인 PyTorch Image Quality(PIQ)를 소개한다. PyTorch 기반으로 제작되어 엄격한 테스트와 최적화를 통해 정확성, 신뢰성, 고성능을 확보하였으며, 인간의 인지와 강한 상관관계를 가지는 딥러닝 파이프라인에서 효율적으로 사용할 수 있다.

ABSTRACT

Image Quality Assessment (IQA) metrics are widely used to quantitatively estimate the extent of image degradation following some forming, restoring, transforming, or enhancing algorithms. We present PyTorch Image Quality (PIQ), a usability-centric library that contains the most popular modern IQA algorithms, guaranteed to be correctly implemented according to their original propositions and thoroughly verified. In this paper, we detail the principles behind the foundation of the library, describe the evaluation strategy that makes it reliable, provide the benchmarks that showcase the performance-time trade-offs, and underline the benefits of GPU acceleration given the library is used within the PyTorch backend. PyTorch Image Quality is an open source software: https://github.com/photosynthesis-team/piq/.

연구 동기 및 목표

• 파이썬에서 현대적인 IQA 지표의 신뢰할 수 있고 커뮤니티 검증이 되며 사용자 친화적인 구현이 부족한 문제를 해결하기 위해.
• 원래의 수식에 부합하는 정확한 IQA 알고리즘 구현을 보장하는 통합적이고 잘 테스트된 최적화된 라이브러리 제공을 위해.
• PyTorch 워크플로우 내에서 GPU 가속을 활용한 고성능 IQA 지표 계산을 가능하게 하기 위해.
• 이미지 복원, 향상, 의료 영상 등 다양한 연구 응용 분야를 지원하기 위해 종합적이고 확장 가능한 IQA 툴킷을 제공하기 위해.
• 다양한 IQA 지표를 다시 작성하거나 디버깅하는 부담을 줄이기 위해 단일 검증된, 활발히 유지 관리되는 자원을 제공하기 위해.

제안 방법

• 라이브러리는 PyTorch를 사용하여 기울기 가능하고 GPU 가속 기능이 있는 계산을 통해 38개 이상의 IQA 지표를 구현한다. 이는 PSNR, SSIM, LPIPS, FID, KID, DISTS 등을 포함한다.
• 각 지표는 원본 구현체와 공식 정의에 대해 엄격히 테스트되어 정확성과 일관성을 확보한다.
• 라이브러리는 세 가지 주요 IQA 카테고리인 풀레퍼런스(FR), 노레퍼런스(NR), 분포기반(DB) 지표를 지원하며, DB 지표는 다양한 특징 추출기(VGG16, VGG19, InceptionNet 등)와 호환된다.
• 성능과 사용성 간의 합리적 트레이드오프를 고려하여 선택적 최적화 기법을 적용하여 PyTorch의 원칙을 따르며 성능과 사용성의 균형을 유지한다.
• 연구자들이 인지 부담을 최소화할 수 있도록 최소 surprise 원칙을 따르는 사용자 友好的 API 를 설계하였다.
• 표준 데이터셋(KADID-10k, TID2013, PIPAL, MRI 복원)을 대상으로 벤치마킹을 수행하여 CPU 및 GPU 환경에서의 성능-시간 트레이드오프를 평가하였다.

실험 결과

연구 질문

• RQ1 이미지 품질 평가를 위한 통합적이고 신뢰할 수 있으며 사용자 친화적인 파이썬 라이브러리를 설계하는 데에는 어떤 방법이 필요한가?
• RQ2 PyTorch 백엔드를 사용할 때 CPU 대비 GPU에서 현대적인 IQA 지표의 성능-시간 트레이드오프는 어떠한가?
• RQ3 GPU 가속이 딥러닝 파이프라인 내에서 IQA 지표 계산의 효율성을 얼마나 향상시키는가?
• RQ4 의료 영상 포함 다양한 이미지 도메인에서 구현된 지표들이 인간의 인지와 얼마나 잘 상관되는가?
• RQ5 단일로 잘 테스트된 라이브러리가 IQA 지표의 다수의 분산된, 잠재적으로 잘못된 구현을 대체할 수 있는가?

주요 결과

• PIQ는 FR, NR, DB 카테고리에 걸쳐 38개 이상의 IQA 지표를 구현하였으며, 엄격한 검증을 통해 원래의 수식과 정확성과 일관성을 확보하였다.
• 라이브러리는 GPU에서 높은 성능을 달성하여 CPU 실행 대비 뚜렷한 속도 향상을 보였으며, 실시간 및 대규모 학습 파이프라인에 적합하다.
• KADID-10k 및 MRI 복원 데이터셋에서 DISTS와 LPIPS와 같은 지표는 인간 인지와 강한 상관관계(SRCC > 0.9)를 보였으며, 낮은 계산 오버헤드를 유지하였다.
• TID2013 및 PIPAL 데이터셋에서의 벤치마킹 결과, DISTS, LPIPS, FID와 같은 지표는 성능-시간 플롯의 상단 왼쪽 영역에서 높은 SRCC 점수(>0.85)를 기록하여 최적의 트레이드오프를 보였다.
• PIQ는 의료 영상 품질 연구 및 신경망 아키텍처 개발을 포함한 여러 연구 프로젝트에 채택되었으며, 실용성과 신뢰성의 확인을 받았다.
• 라이브러리는 640개 이상의 GitHub 스타와 57개의 피크를 확보하였으며, 월간 조회 수가 4,000건이 넘어 강력한 커뮤니티 수용과 활발한 사용을 보였다.