[논문 리뷰] Learning to Count Anything: Reference-less Class-agnostic Counting with Weak Supervision

Michael Hobley, Victor Adrian Prisacariu|arXiv (Cornell University)|2022. 05. 20.

Advanced Neural Network Applications인용 수 12

한 줄 요약

이 논문은 점 수준의 애너테이션이나 기준 이미지가 전혀 필요 없는 참조 없는, 클래스에 관계없는 카운팅 방법인 RCC를 제안한다. 이 방법은 자기지도 학습 기반의 비전 트랜스포머 특징을 사용하여 참조 이미지 없이도 개체 수를 세는 데 성공한다. FSC-147 및 개선된 FSC-133 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 기존의 참조 없는 방법들을 능가하고, 전체 지도 학습을 사용하는 방법들과도 맞먹는 성능을 보였다.

ABSTRACT

Current class-agnostic counting methods can generalise to unseen classes but usually require reference images to define the type of object to be counted, as well as instance annotations during training. Reference-less class-agnostic counting is an emerging field that identifies counting as, at its core, a repetition-recognition task. Such methods facilitate counting on a changing set composition. We show that a general feature space with global context can enumerate instances in an image without a prior on the object type present. Specifically, we demonstrate that regression from vision transformer features without point-level supervision or reference images is superior to other reference-less methods and is competitive with methods that use reference images. We show this on the current standard few-shot counting dataset FSC-147. We also propose an improved dataset, FSC-133, which removes errors, ambiguities, and repeated images from FSC-147 and demonstrate similar performance on it. To the best of our knowledge, we are the first weakly-supervised reference-less class-agnostic counting method.

연구 동기 및 목표

• 기준 이미지나 개체 수준의 애너테이션이 없이도 새로운 객체 클래스에 일반화되는 카운팅 방법을 개발하는 것.
• 자기지도 학습 기반의 비전 트랜스포머 특징과 전역적 맥락이 단순한 회귀를 통해 정확하고 클래스에 관계없는 카운팅을 가능하게 하는지 조사하는 것.
• 기존 데이터셋의 한계를 해결하기 위해 원래 데이터셋의 오류, 모호함, 중복을 수정한 청소된, 오류가 없는 벤치마크인 FSC-133을 제작하여 카운팅 모델의 보다 신뢰할 수 있는 평가를 가능하게 하는 것.
• 자기주의 어텐션 메커니즘의 전역적 맥락이 객체에 관계없이 반복된 개체를 식별하는 데 필수적인지 확인하는 것.
• 강력하고 일반적인 특징과 결합할 경우, 총 개수만 제공되는 최소한의 지도 학습이 고정밀도 카운팅을 위해 충분한지 보여주는 것.

제안 방법

• 모델은 자기지도 학습 기반의 비전 트랜스포머 기반(비전 트랜스포머-스몰)을 사용하여 입력 이미지에서 전역적이고 맥락 인식 특징을 추출한다.
• 간단한 선형 투사 헤드가 비전 트랜스포머 특징의 평탄화된 클래스 토큰에서 직접 총 개수를 회귀한다.
• 모델은 개체 수준의 애너테이션이나 기준 이미지 없이도 실제 총 개수만을 지도로 사용하여 훈련된다.
• 특징 시각화 결과는 어텐션 메커니즘이 위치 지도 학습 없이도 관련 객체 영역을 정확히 국소화하고 있음을 확인한다.
• 제안된 방법은 FSC-147과 원래 데이터셋의 오류, 모호함, 중복을 수정한 신규로 제안된 FSC-133 데이터셋에서 평가된다.
• 제거 실험을 통해 자기주의 어텐션 기반의 비전 트랜스포머와 ResNet-50 및 ConvNeXt 백본을 비교함으로써 전역적 맥락의 중요성을 입증한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 기반의 비전 트랜스포머가 기준 이미지나 점 수준의 애너테이션 없이도 정확하고 클래스에 관계없는 카운팅을 가능하게 할 수 있는가?
• RQ2 자기주의 어텐션 메커니즘의 전역 수용 영역이 기준 없는 환경에서 반복된 개체를 식별하는 데 필수적인가?
• RQ3 비전 트랜스포머 특징에 단순한 선형 헤드가 더 복잡한 회귀 헤드보다 카운팅 작업에서 더 우수한 성능을 낼 수 있는가?
• RQ4 제안된 방법의 성능가 전체 지도 학습 및 기준 이미지를 사용하는 방법들과 비교해도 동등하거나 뛰어나게 성능을 내는가?
• RQ5 실세계 환경에서 다양한 객체 조합과 새로운 클래스에 대해 모델의 일반화 능력은 어떠한가?

주요 결과

• RCC는 FSC-133에서 테스트 세트 MAE 14.23과 RMSE 43.83을 기록하여 유일한 다른 참조 없는 방법을 능가하고, 기준 이미지와 전체 지도 학습을 사용하는 최신 기술 수준의 방법들과도 맞먹는 성능를 달성하였다.
• 비전 트랜스포머 기반의 방법은 ImageNet 사전 훈련을 사용한 ResNet-50 및 ConvNeXt와 비교해도 유의미하게 뛰어난 성능를 보였으며, 자기주의 어텐션과 전역적 맥락의 중요성을 입증하였다.
• 간단한 선형 회귀 헤드가 더 복잡한 컨볼루션 회귀 헤드보다 우수한 성능를 보였으며, 이는 훈련 클래스에 과적합되어 성능이 떨어지기 때문이다.
• 특징 시각화 결과는 위치 지도 학습 없이도 모델이 관련 객체 인스턴스를 암묵적으로 국소화하고 있음을 보여주며, 반복 탐지에 강력한 인덕티브 바이어스를 지닌다는 것을 시사한다.
• 모델은 새로운 클래스와 다양한 객체 조합에 대해 잘 일반화되며, 크로스 도메인 CARPK 데이터셋에서도 우수한 성능를 보여, 강건성과 전이 가능성(transferability)을 입증하였다.
• 제안된 FSC-133 데이터셋은 FSC-147에서 122개의 오류, 15개의 모호한 이미지, 12개의 중복 이미지를 제거하여 향후 연구를 위한 더 깔끔하고 신뢰할 수 있는 벤치마크를 제공하였다.