[논문 리뷰] Task-Specific Normalization for Continual Learning of Blind Image Quality Models

Weixia Zhang, Kede Ma외 2명|arXiv (Cornell University)|2021. 07. 28.

Image Processing Techniques and Applications인용 수 14

한 줄 요약

이 논문은 전이 학습된 컨볼루션 필터를 동결하여 안정성을 확보하고, 태스크별 배치 정규화 파라미터를 학습하여 탄력성을 확보하는 지속적 학습 방법인 TSN-IQA를 제안한다. 여러 태스크별 헤드의 예측을 결합하기 위해 경량 K-means 게이팅 메커니즘을 사용함으로써, 파rameter 증가가 거의 없이도 여섯 개인 IQA 데이터셋에서 뛰어난 정확도, 태스크 순서 및 길이에 대한 강건성, 그리고 최소한의 무시 현상(Forgetting)을 달성한다.

ABSTRACT

In this paper, we present a simple yet effective continual learning method for blind image quality assessment (BIQA) with improved quality prediction accuracy, plasticity-stability trade-off, and task-order/-length robustness. The key step in our approach is to freeze all convolution filters of a pre-trained deep neural network (DNN) for an explicit promise of stability, and learn task-specific normalization parameters for plasticity. We assign each new IQA dataset (i.e., task) a prediction head, and load the corresponding normalization parameters to produce a quality score. The final quality estimate is computed by black a weighted summation of predictions from all heads with a lightweight $K$-means gating mechanism. Extensive experiments on six IQA datasets demonstrate the advantages of the proposed method in comparison to previous training techniques for BIQA.

연구 동기 및 목표

• 기존에 볼 수 있었던 데이터에 대한 성능을 유지하면서 새로운 왜곡 유형에 적응할 수 있도록, 지속적 학습에서 치명적인 무시 현상(Forgetting)을 해결하기 위해.
• 특징 추출과 태스크별 적응을 분리함으로써, BIQA 지속적 학습에서 안정성과 탄력성의 상호 갈등을 개선하기 위해.
• 다양한 태스크 순서와 길이에 대해 강건한 성능을 보이게 하여, LwF와 같은 정규화 기반 방법의 한계를 극복하기 위해.
• 추가적인 딥 네트워크나 테스트 시 오라클에 의존하지 않는 경량 추론 메커니즘을 설계하기 위해.
• 학습 태스크에 포함되지 않은 새로운 IQA 데이터셋으로의 일반화 능력을 입증함으로써, 실제 세계의 분포 이탈에 대한 적응 가능성을 검증하기 위해.

제안 방법

• 모든 전이 학습된 DNN의 컨볼루션 필터를 동결하여 학습된 특징를 유지하고, 태스크 간 안정성을 확보한다.
• 각 새로운 태스크에 대해 태스크별 배치 정규화(BN) 파라미터를 도입함으로써, 주 네트워크를 업데이트하지 않고도 새로운 왜곡 유형에 탄력적으로 적응할 수 있도록 한다.
• 각 태스크에 별도의 완전 연결 예측 헤드를 부착하고, 해당 태스크의 BN 파라미터를 사용해 품질 점수를 생성한다.
• 왜곡 인식 기반 BN 통계를 바탕으로 동적 가중치를 계산하는 경량 K-means 게이팅(KG) 메커니즘을 사용해 모든 헤드의 예측을 조합한다.
• 추론 시 KG 모듈을 사용하여 모든 헤드 예측의 가중 평균을 계산함으로써, 입력 왜곡 특성에 동적으로 적응할 수 있도록 한다.
• 모델을 엔드 투 엔드로 훈련하며, 특징 추출기는 동결해 유지하고, 오직 BN 및 헤드 파라미터만 업데이트하며, 각 새로운 태스크에 표준 손실을 적용한다.

Figure 1: Illustration of continual learning for BIQA. The grey cylinders denote the inaccessibility of previous and future training data. During testing, we use all previous and the current test sets to evaluate the stability and plasticity of the learned BIQA model.

실험 결과

연구 질문

• RQ1 태스크별 정규화가 지속적 BIQA에서 치명적인 무시 현상을 효과적으로 방지하면서도 높은 예측 정확도를 유지할 수 있는가?
• RQ2 기존의 지속적 학습 기반 방법과 비교해, 다양한 태스크 순서 및 길이에서 제안된 방법의 성능은 어떠한가?
• RQ3 추가 모델 구성 요소 없이도 K-means 게이팅 메커니즘이 입력 왜곡 특성에 기반해 의미 있는 가중치를 헤드에 할당할 수 있는가?
• RQ4 학습 시퀀스에 포함되지 않은 새로운 IQA 데이터셋으로 일반화가 가능한가?
• RQ5 계산 복잡도가 태스크 수에 따라 어떻게 증가하는가? 그리고 효율적으로 가속화될 수 있는가?

주요 결과

• TSN-IQA는 여섯 개인 벤치마크 IQA 데이터셋에서 최신 기준(SOTA) 성능을 달성하며, LwF-KG와 같은 이전 방법들보다 뛰어난 품질 예측 정확도를 보였다.
• 모델은 태스크 순서 및 길이에 매우 강건하며, 다양한 학습 시퀀스에서 성능 저하가 거의 없이 안정적인 성능을 유지했다.
• K-means 게이팅 메커니즘은 인지적으로 의미 있는 가중치를 할당한다: 합성 왜곡 데이터셋(LIVE, CSIQ 등)에서 학습한 헤드는 TID2013에서 높은 가중치를 받고, 현실적인 왜곡(KonIQ-10K 등)에서 학습한 헤드는 SPAQ에서 더 높은 가중치를 받는다.
• BN 파라미터의 KL 발산과 예측 정확도 사이의 상관관계는 매우 강력하며(SRCC = -0.776), 유사한 왜곡 유형은 더 정확한 데이터셋 간 일반화를 이끌어낸다.
• 모델은 태스크 수에 대해 선형 계산 복잡도를 유지하며, 하드-할당 버전은 추론 비용을 T 배수로 감소시키면서도 LwF-KG와 동일한 복잡도임에도 불구하고 성능가 뛰어나다.
• TSN-IQA는 학습 시퀀스에 포함되지 않은 새로운 데이터셋으로도 잘 일반화된다. TID2013과 SPAQ에서 예상치 못한 데이터셋에도 합리적인 SRCC를 달성함으로써, 일반화 능력이 뛰어나다는 것을 확인했다.

Figure 2: Illustration of task-specific BN. The parameters of all convolutions are frozen and shared across all tasks. A group of BN parameters is customized for each task.