[논문 리뷰] PnP-DETR: Towards Efficient Visual Analysis with Transformers

Tao Wang, Yuan, Li외 3명|arXiv (Cornell University)|2021. 09. 15.

Advanced Neural Network Applications참고 문헌 32인용 수 4

한 줄 요약

이 논문은 트랜스포머를 사용한 효율적인 시각 분석을 위한 새로운 공간적 적응형 계산 할당 프레임워크인 PnP-DETR를 제안한다. 유연한 풀링 및 풀링(PnP) 샘플링 모듈을 도입하여 세밀한 물체 특징과 굴곡진 배경 맥락을 선택적으로 추출함으로써, 재학습 없이도 최첨단의 효율-성능 트레이드오프를 달성한다. 이는 다양한 계산 제약 조건 하에서도 동적 추론을 가능하게 하며, 물체 검출, 세분화, 인식 작업에서 높은 정확도를 유지한다.

ABSTRACT

Recently, DETR pioneered the solution of vision tasks with transformers, it directly translates the image feature map into the object detection result. Though effective, translating the full feature map can be costly due to redundant computation on some area like the background. In this work, we encapsulate the idea of reducing spatial redundancy into a novel poll and pool (PnP) sampling module, with which we build an end-to-end PnP-DETR architecture that adaptively allocates its computation spatially to be more efficient. Concretely, the PnP module abstracts the image feature map into fine foreground object feature vectors and a small number of coarse background contextual feature vectors. The transformer models information interaction within the fine-coarse feature space and translates the features into the detection result. Moreover, the PnP-augmented model can instantly achieve various desired trade-offs between performance and computation with a single model by varying the sampled feature length, without requiring to train multiple models as existing methods. Thus it offers greater flexibility for deployment in diverse scenarios with varying computation constraint. We further validate the generalizability of the PnP module on panoptic segmentation and the recent transformer-based image recognition model ViT and show consistent efficiency gain. We believe our method makes a step for efficient visual analysis with transformers, wherein spatial redundancy is commonly observed. Code will be available at \url{https://github.com/twangnh/pnp-detr}.

연구 동기 및 목표

• 트랜스포머 기반 물체 검출기인 DETR와 같이 전체 특징맵 처리에 따른 높은 계산 비용을 해결하기 위해, 공간적 중복성을 줄이기 위한 목적이 있다.
• 공간적 중요도에 따라 계산을 동적으로 할당하는 일반적인 목적의 엔드 투 엔드 학습 가능한 모듈을 개발하기 위한 목적이 있다.
• 다양한 하드웨어 제약 조건 하에서도 정확도와 추론 효율성 간의 탄력적인 트레이드오프를 가능하게 하며, 여러 변형을 재학습하지 않고도 하나의 모델로 구현하기 위한 목적이 있다.
• PnP 모듈의 일반화 능력을 물체 검출, 팬옵티크 세분화, 이미지 인식 등의 다양한 비전 작업에 대해 검증하기 위한 목적이 있다.

제안 방법

• 입력 특징맵을 두 구성요소로 추상화하는 유연한 풀링 및 풀링(PnP) 샘플링 모듈을 제안한다: 세밀한 물체 특징 벡터(풀링)와 굴곡진 배경 맥락 벡터(풀링).
• 순위 기반의 풀링 샘플러를 사용하여 공간적으로 중요한 위치를 학습적으로 추출하며, 명시적 지도 없이도 자기지도 기반 영역 제안 네트워크를 모방한다.
• 비샘플링 영역에서의 맥락 특징을 적응형 풀링 메커니즘을 통해 집계함으로써, 다중 스케일에서 전반적이고 국소적인 맥락을 포괄한다.
• PnP 모듈을 DETR 아키텍처에 통합하여 엔드 투 엔드 학습이 가능하게 하며, 동적 계산 할당을 가능하게 한다.
• 샘플된 특징 수(풀링 및 풀링)를 조절하여 추론의 유연성을 확보함으로써, 하나의 모델로 다양한 속도-정확도 트레이드오프를 달성한다.
• 표준 검출 손실을 사용하여 PnP 모듈을 엔드 투 엔드로 학습함으로써, 최적화 과정에서 샘플러가 최적의 샘플링 패턴을 자동으로 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 학습 가능한 공간적 샘플링 메커니즘이 검출 정확도를 저하시키지 않으면서도 비전 트랜스포머의 부과적 계산을 줄일 수 있는가?
• RQ2 하나의 모델로 다양한 하드웨어 제약 조건 하에서 계산 효율성과 성능 간의 동적 균형을 어떻게 달성할 수 있는가?
• RQ3 풀링 및 풀링 샘플링 전략이 정확한 검출을 위해 세밀한 물체 특징과 필수적인 배경 맥락을 어느 정도 효과적으로 포괄할 수 있는가?
• RQ4 PnP 모듈은 물체 검출을 넘어서 팬옵티크 세분화 및 이미지 인식과 같은 다른 비전 작업으로 일반화될 수 있는가?
• RQ5 풀링 샘플러의 학습 동역학은 어떻게 변화하며, 수렴 시 안정적이고 의미 있는 샘플링 패턴으로 수렴하는가?

주요 결과

• PnP-DETR 모델은 지정된 바운딩 박스 내에서 샘플된 위치 비율이 약 60%를 차지하며, 관련 영역에 효과적으로 집중하고 있음을 나타낸다.
• 수렴 후 연속된 에포크 간에 풀링 샘플러의 샘플된 위치 간 픽셀 IOU가 약 0.75로 나타나 안정적이고 일관된 샘플링 행동을 보이고 있음을 확인했다.
• 최적의 설정은 풀링 비율 1/3과 60개의 풀링 샘플을 사용하며, 세밀한 특징과 맥락 특징 표현 간의 최적의 균형을 이룬다.
• 풀링 샘플링을 통합함으로써 순수한 풀링 샘플링 대비 AP가 약 0.7점 향상되어 배경 맥락의 가치를 입증한다.
• 재학습 없이도 최첨단의 효율-성능 트레이드오프를 달성하며, 다양한 계산 예산 하에서 동적 추론을 가능하게 한다.
• PnP 모듈은 팬옵티크 세분화 및 이미지 인식 작업으로도 효과적으로 일반화되어, 물체 검출을 넘어서 보다 넓은 적용 가능성을 확인한다.