[논문 리뷰] Transferable Recognition-Aware Image Processing

Zhuang Liu, Tinghui Zhou외 5명|arXiv (Cornell University)|2021. 05. 04.

Advanced Neural Network Applications참고 문헌 36인용 수 9

한 줄 요약

이 논문은 기계 해석 가능성에 최적화된 인식 인식 기반 이미지 처리 기법을 제안하며, 이미지 처리 과정에서 직접적으로 인식 손실를 최소화함으로써 후행 비전 작업에서 상당한 정확도 향상을 이끌어내고, 다양한 모델, 아키텍처, 데이터셋 간 강력한 전이 가능성과 함께 인지적 품질을 유지한다.

ABSTRACT

Recent progress in image recognition has stimulated the deployment of vision systems at an unprecedented scale. As a result, visual data are now often consumed not only by humans but also by machines. Existing image processing methods only optimize for better human perception, yet the resulting images may not be accurately recognized by machines. This can be undesirable, e.g., the images can be improperly handled by search engines or recommendation systems. In this work, we propose simple approaches to improve machine interpretability of processed images: optimizing the recognition loss directly on the image processing network or through an intermediate transforming model. Interestingly, the processing model's ability to enhance recognition quality can transfer when evaluated on models of different architectures, recognized categories, tasks and training datasets. This makes the solutions applicable even when we do not have the knowledge of future recognition models, e.g., if we upload processed images to the Internet. We conduct experiments on multiple image processing tasks, with ImageNet classification and PASCAL VOC detection as recognition tasks. With our simple methods, substantial accuracy gain can be achieved with strong transferability and minimal image quality loss. Through a user study we further show that the accuracy gain can transfer to a black-box, third-party cloud model. Finally, we try to explain this transferability phenomenon by demonstrating the similarities of different models' decision boundaries. Code is available at https://github.com/anonymous20202020/Transferable_RA .

연구 동기 및 목표

• 기존 이미지 처리 방법이 인간의 시각적 인지에만 최적화되어 있다는 격차를 해결한다.
• 사전에 알려지지 않은 모델, 예를 들어 제3자 클라우드 시스템과 같은 모델의 이미지 해석 가능성 향상을 도모한다.
• 이미지 처리 파이프라인을 통해 예측 불가능한 모델, 작업, 데이터셋에서의 인식 성능 향상을 가능하게 한다.
• 기계 인식 정확도를 크게 향상시키면서도 높은 인지적 이미지 품질을 유지한다.
• 다양한 비전 모델 간 인식 향상의 전이 가능성에 대해 조사하고 설명한다.

제안 방법

• 이미지 품질과 기계 인식을 동시에 최적화하기 위해 인식 손실 헤드를 갖춘 종단 간 이미지 처리 네트워크를 훈련시킨다.
• 이중 단계 접근법을 사용한다: 먼저 인식 인식 기반 변환 모델을 훈련한 후, 이를 어떤 인식 모델에도 적용하기 전에 이미지에 적용한다.
• 처리된 이미지에서 인식 손실(예: 교차 엔트로피)을 최소화하며, 이는 아키텍처 간 교환 가능한 인식 헤드를 사용한다.
• 처리 네트워크의 중간 표현을 활용하여, 다른 아키텍처를 가진 모델로도 인식 향상 효과를 전이한다.
• 블랙박스 모델과의 호환성을 보장하기 위해, 배포 전 동일한 처리 파이프라인을 이미지에 적용한다.
• 결정 경계 분석을 통해 인식 향상 효과가 다양한 모델 간 전이되는 이유를 설명한다.

실험 결과

연구 질문

• RQ1 사전에 인식 아키텍처를 알지 못하는 후행 모델에서 정확도 향상을 위한 이미지 처리 네트워크를 훈련시킬 수 있는가?
• RQ2 처리된 이미지에서 유도된 인식 향상 효과가 다양한 인식 모델, 작업, 데이터셋 간 얼마나 효과적으로 전이되는가?
• RQ3 제안된 방법은 기계 인식 성능 향상을 위해 인지적 이미지 품질을 어떻게 유지하는가?
• RQ4 인식 성능 향상 효과를 블랙박스, 제3자 클라우드 기반 인식 모델로 전이할 수 있는가?
• RQ5 관찰된 전이 가능성의 근본적 원인은 인식 결정 경계의 어떤 구조적 유사성에 기인하는가?

주요 결과

• 제안된 방법은 이미지 품질 저하를 최소화하면서 ImageNet 분류 및 PASCAL VOC 검출 작업에서 상당한 정확도 향상을 달성한다.
• ResNet, DenseNet, EfficientNet 등 다양한 아키텍처의 모델로도 인식 향상 효과가 효과적으로 전이된다.
• 다양한 인식 작업과 훈련 데이터셋 간에도 일반화가 가능하여 넓은 적용 가능성을 보인다.
• 사용자 연구를 통해 정확도 향상 효과가 블랙박스, 제3자 클라우드 기반 인식 모델로도 전이됨을 확인했다.
• 분석 결과, 인식 인식 기반 처리가 다양한 모델 간 결정 경계를 더 잘 일치시켜 전이 가능성의 원인을 설명한다.
• 기존 이미지 처리 방법과 비교해도 인지적 품질은 유사하게 유지하면서 기계 해석 가능성은 크게 향상된다.