[논문 리뷰] A Low-Shot Object Counting Network With Iterative Prototype Adaptation

N Djukić, Alan Lukežič외 2명|arXiv (Cornell University)|2022. 11. 15.

Advanced Neural Network Applications인용 수 8

한 줄 요약

LOCA는 적은 샘플에서 객체를 세는 데 있어 반복적으로 예시의 형태와 외관 정보를 적응형 객체 프로토타입에 융합하는 새로운 저샷 객체 수세기 네트워크를 제안한다. 이는 국소화 정확도와 수세기 정확도를 크게 향상시킨다. FSC147에서 소수의 샘플, 한 개의 샘플, 그리고 영 샘플 설정 모두에서 최신 기술 수준의 성능을 달성하며, 소수 샘플 설정에서 33.4%의 상대적 RMSE 향상과 영 샘플 설정에서 16.3%의 상대적 RMSE 향상을 기록한다.

ABSTRACT

We consider low-shot counting of arbitrary semantic categories in the image using only few annotated exemplars (few-shot) or no exemplars (no-shot). The standard few-shot pipeline follows extraction of appearance queries from exemplars and matching them with image features to infer the object counts. Existing methods extract queries by feature pooling which neglects the shape information (e.g., size and aspect) and leads to a reduced object localization accuracy and count estimates. We propose a Low-shot Object Counting network with iterative prototype Adaptation (LOCA). Our main contribution is the new object prototype extraction module, which iteratively fuses the exemplar shape and appearance information with image features. The module is easily adapted to zero-shot scenarios, enabling LOCA to cover the entire spectrum of low-shot counting problems. LOCA outperforms all recent state-of-the-art methods on FSC147 benchmark by 20-30% in RMSE on one-shot and few-shot and achieves state-of-the-art on zero-shot scenarios, while demonstrating better generalization capabilities.

연구 동기 및 목표

• 기존의 소수 샘플 수세기 방법들이 프로토타입 추출 과정에서 객체의 형태 정보를 忽略함으로써 국소화 및 수세기 정확도가 떨어지는 문제를 해결한다.
• 단일 아키텍처를 사용하여 소수 샘플, 한 개 샘플, 영 샘플을 포함한 저샷 수세기의 전 영역을 지원하는 통합 프레임워크를 개발한다.
• 고정 크기의 풀링에 의존하는 대신, 이미지 전반의 외관 특징을 사용하여 예시의 형태를 명시적으로 모델링하고 프로토타입을 적응형으로 조정함으로써 일반화 성능을 향상시킨다.
• CARPK에서의 FSC147 벤치마크 및 데이터셋 간 일반화 성능을 입증한다.

제안 방법

• 예시의 형태와 외관 쿼리를 별도로 처리하는 새로운 객체 프로토타입 추출(OPE) 모듈을 도입한다.
• 전체 이미지의 특징과 예시 외관을 융합하여 반복적으로 객체 프로토타입을 개선함으로써, 동일 클래스의 새로운 인스턴스에 대한 일반화 능력을 향상시킨다.
• 다중 단계에 걸쳐 프로토타입을 업데이트하는 학습 가능한 반복적 적응 메커니즘을 사용하여 특징의 분류 능력과 국소화 정밀도를 향상시킨다.
• 어려운, 고밀도 케이스에 더 중점을 두기 위해 손실 함수($\mathcal{L}_{OSE}$)에 객체 수 정규화를 적용한다.
• 각 OPE 블록에 보조 감독을 통합하여 학습 안정성과 반복 과정 전반의 특징 품질을 향상시킨다.
• 주어진 예시를 암시적으로 식별하기 위해 어텐션 또는 프포절 기반 방법을 사용함으로써, 애너테이션 없이도 영 샘플 설정에 프레임워크를 적응시킨다.

Figure 1 : LOCA injects shape and appearance information into object queries to precisely count objects of various sizes in densely and sparsely populated scenarios. It also extends to a zero-shot scenario and achieves excellent localization and count errors across the entire low-shot spectrum.

실험 결과

연구 질문

• RQ1 예시의 형태 정보를 명시적으로 모델링하면 저샷 객체 수세기에서 국소화 및 수세기 정확도가 향상되는가?
• RQ2 전체 이미지 특징과 예시 외관을 반복적으로 융합하는 방식이 고정 크기 풀링 대비 프로토타입 구성에서 더 나은 일반화 성능을 제공하는가?
• RQ3 통합 아키텍처가 소수 샘플, 한 개 샘플, 영 샘플 수세기 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 제안된 반복적 프로토타입 적응 메커니즘은 종래의 엔드 투 엔드로 학습된 유사도 함수에 비해 정확도와 견고성 면에서 뛰어나게 되는가?
• RQ5 이 방법은 새로운 데이터셋과 다양한 객체 크기에 얼마나 잘 일반화되는가?

주요 결과

• LOCA는 FSC147 소수 샘플 벤치마크에서 기존 최신 기술 수준의 방법 대비 33.4%의 상대적 RMSE 향상을 달성한다.
• 영 샘플 설정에서 LOCA는 16.3%의 상대적 RMSE 향상을 기록하며 최신 기술 수준의 성능을 확보한다.
• 이 방법은 강력한 데이터셋 간 일반화 성능을 보이며, CARPK 자동차 수세기 데이터셋에서 9.2%의 상대적 RMSE 향상을 기록한다.
• 제거 분석 결과, 손실 함수에 포함된 객체 수 정규화로 MAE가 11% 감소하고, OPE 블록에 보조 손실을 통합함으로써 RMSE가 17% 감소한다.
• 정성적 결과는 LOCA가 소형, 대형, 혼합 크기의 객체를 밀도가 높은 장면에서 기존 기준 대비 뛰어난 성능을 보임을 확인한다.
• OPE 모듈의 설계가 성능 향상의 주요 원동력임을 아우터레이션 분석(백본 사전학습, 입력 해상도, 프로토타입 크기)을 통해 입증된다.

Figure 2 : The LOCA architecture. Input image is encoded into features $\mathbf{f}^{E}$ , which are depth-wise correlated (*) by $n$ object queries predicted by the object prototype extraction module. The response map $\tilde{\mathbf{R}}$ is obtained by computing per-element maximum of $n$ similarit