[논문 리뷰] What Is Considered Complete for Visual Recognition?

Lingxi Xie, Xiaopeng Zhang외 3명|arXiv (Cornell University)|2021. 05. 28.

Advanced Neural Network Applications참고 문헌 69인용 수 6

한 줄 요약

이 논문은 시각적 인식을 위한 새로운 사전 훈련 범주인 압축을 통한 학습을 제안한다. 여기서 모델은 이미지를 압축된 특징으로 변환하고 이를 충실하게 재구성하도록 훈련되며, 의미적 애너테이션은 약한 지도 신호로 기능한다. 주요 기여는 정확도-복잡도 트레이드오프에서 압축-복구 트레이드오프로 초점을 이동시키는 것으로, 현재의 애너테이션 제한된 범주를 넘어서 더 통합적인 시각적 표현 학습 기반을 제공한다.

ABSTRACT

This is an opinion paper. We hope to deliver a key message that current visual recognition systems are far from complete, i.e., recognizing everything that human can recognize, yet it is very unlikely that the gap can be bridged by continuously increasing human annotations. Based on the observation, we advocate for a new type of pre-training task named learning-by-compression. The computational models (e.g., a deep network) are optimized to represent the visual data using compact features, and the features preserve the ability to recover the original data. Semantic annotations, when available, play the role of weak supervision. An important yet challenging issue is the evaluation of image recovery, where we suggest some design principles and future research directions. We hope our proposal can inspire the community to pursue the compression-recovery tradeoff rather than the accuracy-complexity tradeoff.

연구 동기 및 목표

• 현재의 시각적 인식 시스템이 인간이 인지할 수 있는 모든 시각적 정보를 포착하지 못하는 근본적인 한계를 해결하기 위해.
• 인간의 노동과 애너테이션의 세분성에 제약을 받는 기존의 애너테이션을 통한 학습 범주를 도전하고, 완전한 인지 완전성을 달성할 수 있도록 확장 가능한 방식으로 개선하기 위해.
• 압축된 특징에서 데이터 재구성에 중점을 두는 새로운 사전 훈련 목표인 압축을 통한 학습을 제안하여 더 풍부한 표현 학습을 가능하게 하기 위해.
• 정확도 대비 모델 복잡도 최적화에서 압축 효율성과 재구성 품질 최적화로 연구 초점을 이동시키기 위해.
• 약한 지도 신호와 계층적 복구를 통해 생성적 및 판별적 능력을 통합함으로써, 새로운 방향의 시각적 표현 학습을 이끌어내기 위해.

제안 방법

• 시각적 사전 훈련을 압축 작업으로 설정: 인코더는 이미지 𝑥를 압축된 특징 벡터 f(𝑥)로 매핑하고, 디코더 g(𝑓(𝑥))는 원본 이미지를 재구성한다.
• 재구성 오차를 최소화하기 위해 인코더와 디코더를 함께 최적화하며, 무결성도를 측정하기 위해 복구 평가 함수 r(𝑥′, 𝑥)를 사용한다.
• 완전한 인스턴스 수준의 레이블링이 필요 없이도 압축 효율성을 향상시키기 위해 의미적 애너테이션을 약한 지도 신호로 통합한다.
• PSNR나 SSIM과 같은 픽셀 수준의 지표에만 의존하지 않고, 시각적 품질을 반영하도록 평가 함수 r(⋅,⋅)를 설계한다.
• 시각 데이터의 계층적 구조를 활용하여 생성적 재구성과 판별적 학습을 결합함으로써, 저수준 및 고수준 표현을 모두 학습할 수 있도록 한다.
• 대규모 데이터셋을 사용해 슈퍼넷 또는 동적 라우팅 네트워크를 사전 훈련하고, 소수의 샘플에서의 도메인 특화 미세조정을 위해 하위 아키텍처 선택을 통해 가능하게 한다.

실험 결과

연구 질문

• RQ1 현재의 애너테이션 기반 범주에서, 인간이 인지할 수 있는 모든 인지 요소를 포괄할 수 있도록 시각적 인식 시스템을 완전하게 만들 수 있는가?
• RQ2 왜 현재의 애너테이션 기반 학습 방식은 시각적 인식에서 인지 완전성을 달성하는 데 부적절한가?
• RQ3 어떻게 객체 수준의 애너테이션을 초월해 계층적이고 다중 해상도의 시각적 의미를 포착할 수 있는 사전 훈련 작업을 설계할 수 있는가?
• RQ4 이미지 재구성 품질은 시각적 표현 학습을 향상시키는 데 어떤 역할을 할 수 있으며, 어떻게 평가되어야 하는가?
• RQ5 압축-복구 목표가 다양한 시각 작업에서 일반화를 가능하게 하기 위해 전통적인 정확도-복잡도 트레이드오프를 능가할 수 있는가?

주요 결과

• 현재의 시각적 인식 시스템은 심지어 광범위한 인간 애너테이션에도 불구하고, 신체 부위, 손가락, 질감과 같은 세밀하고 계층적인 시각적 요소를 포착하지 못해 여전히 완전하지 않다.
• 압축을 통한 학습 프레임워크는 압축과 재구성 무결성 양측을 최적화함으로써 압축되고 의미적으로 풍부한 표현을 학습할 수 있도록 한다.
• 평가 함수 r(⋅,⋅)는 핵심적이다. PSNR나 SSIM과 같은 기본적인 픽셀 통계에만 의존하는 것은 시각적 품질을 포괄하기에 부족하며, 학습 과정을 오도할 수 있다.
• 의미적 애너테이션을 약한 지도 신호로 사용할 경우, 완전한 인스턴스 수준의 레이블링이 없이도 압축 효율성을 향상시킬 수 있으며, 이는 의미 있는 시각적 콘텐츠를 유지하는 데 모델의 능력을 높인다.
• 제안된 프레임워크는 재구성과 약한 지도 신호를 결합함으로써 생성적 및 판별적 학습을 통합하여 더 안정적이고 일반화 능력이 뛰어난 표현을 도출한다.
• 슈퍼넷에서 동적 하위 아키텍처 선택을 통해 소수의 샘플에서의 적응 가능성이 있으며, 이는 미세조정 시나리오에서 도메인 이탈 문제를 완화할 잠재력을 보인다.