[논문 리뷰] ViPLO: Vision Transformer based Pose-Conditioned Self-Loop Graph for Human-Object Interaction Detection

Jeeseung Park, Jinwoo Park외 1명|arXiv (Cornell University)|2023. 04. 17.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

ViPLO는 양단계형 인간-객체 상호작용(HOI) 검출기로서, 정량화 없는 특징 추출을 위한 새로운 마스킹 기반 겹침 영역(MOA) 모듈과 공동 인식에 기반한 자기루프 그래프를 통해 성능을 향상시킨다. 이는 HICO-DET에서 +2.07 mAP 향상으로 최신 기술 수준을 달성하면서도 효율성을 유지한다.

ABSTRACT

Human-Object Interaction (HOI) detection, which localizes and infers relationships between human and objects, plays an important role in scene understanding. Although two-stage HOI detectors have advantages of high efficiency in training and inference, they suffer from lower performance than one-stage methods due to the old backbone networks and the lack of considerations for the HOI perception process of humans in the interaction classifiers. In this paper, we propose Vision Transformer based Pose-Conditioned Self-Loop Graph (ViPLO) to resolve these problems. First, we propose a novel feature extraction method suitable for the Vision Transformer backbone, called masking with overlapped area (MOA) module. The MOA module utilizes the overlapped area between each patch and the given region in the attention function, which addresses the quantization problem when using the Vision Transformer backbone. In addition, we design a graph with a pose-conditioned self-loop structure, which updates the human node encoding with local features of human joints. This allows the classifier to focus on specific human joints to effectively identify the type of interaction, which is motivated by the human perception process for HOI. As a result, ViPLO achieves the state-of-the-art results on two public benchmarks, especially obtaining a +2.07 mAP performance gain on the HICO-DET dataset. The source codes are available at https://github.com/Jeeseung-Park/ViPLO.

연구 동기 및 목표

• 양단계형 HOI 검출기의 성능을 향상시키기 위해, 효율성 우월성에도 불구하고 일단계 방법에 비해 뒤처진 성능을 개선하고자 한다.
• HOI 검출에서 영역 기반 특징 추출을 사용할 때 비전 트랜스포머(ViT)를 사용할 경우 발생하는 정량화 문제를 해결하고자 한다.
• 인간의 상호작용 인식 방식을 모방하기 위해 자세 인식 및 관절 중심의 추론을 상호작용 예측 과정에 통합하고자 한다.
• 비전 트랜스포머 백본의 표현 능력을 활용하면서도 높은 추론 속도와 메모리 효율성을 유지하고자 한다.

제안 방법

• 비전 트랜스포머 패치와 객체 영역 간의 겹침 영역을 이용해 어텐션을 계산함으로써 공간 정량화 문제를 방지하는 마스킹 기반 겹침 영역(MOA) 모듈을 도입한다.
• MOA를 사용한 비전 트랜스포머를 백본 네트워크로 사용하여 ROIAlign과 정량화된 패치 인덱싱에 의존하지 않고도 인간 및 객체 영역의 고해상도 특징을 추출한다.
• 인간 노드 임베딩이 지역 관절 특징을 쿼리-키 구조를 통해 업데이트되는 자세 조건화 자기루프 그래프를 설계하여 인간의 시각 주의를 모방한다.
• 공간적 관계와 인간 자세 특징을 사용하여 상호작용 엣지를 인코딩함으로써 그래프 내에서 상호작용 인식에 민감한 메시지 전달을 가능하게 한다.
• 쿼리 기반 어텐션 메커니즘을 활용하여 인간 관절 특징을 주시함으로써 인간 노드 표현을 정밀하게 개선하고 상호작용 분류 성능을 향상시킨다.
• CLIP 가중치를 사용해 비전 트랜스포머 백본을 사전학습시켜 특징 품질과 일반화 능력을 향상시키며, 특히 소수 샘플 또는 제로샷 시나리오에서 유리한 성능을 내도록 한다.

실험 결과

연구 질문

• RQ1 정량화 문제 없이 비전 트랜스포머 백본을 양단계형 HOI 검출에 효과적이고 효율적으로 활용할 수 있는가?
• RQ2 인간 자세 정보를 상호작용 예측 과정에 통합하여 분류 정확도를 향상시킬 수 있는가?
• RQ3 상호작용 인식 과정을 지역화 → 상호작용성 → 관절 집중의 세 단계 인간 인지 파이프라인으로 모델링하면 성능 향상이 이루어지는가?
• RQ4 그래프 네트워크 내 자기루프 구조가 국소 인간 관절 특징에 집중함으로써 성능 향상에 기여하는가?
• RQ5 CLIP 사전학습 가중치를 사용한 비전 트랜스포머가 COCO나 ImageNet 사전학습 대비 HOI 검출 성능 향상에 기여하는가?

주요 결과

• ViPLO는 HICO-DET 데이터셋의 Full 설정에서 기존 최고 기록인 36.97 mAP를 달성하여 새로운 최신 기술 수준을 확립했다.
• ViPLO는 이전 최고 기록 대비 HICO-DET에서 +2.07 mAP 향상을 기록하여 제안된 구성 요소의 효과를 입증했다.
• MOA 모듈은 정량화로 인한 성능 저하를 감소시켜 기존 ViT + ROI 기반 기준 대비 mAP를 1.08 포인트 향상시켰다.
• 자세 조건화 자기루프 그래프는 자기루프가 없는 기준 대비 0.44 mAP 향상 기여하여 관련 관절에 집중하는 기능의 유효성을 입증했다.
• ViPLO는 추론 속도와 GPU 메모리 사용량을 ResNet-50 기반 모델과 유사하게 유지하며, ResNet-50를 사용한 SCG보다 낮은 메모리 소비를 기록했다.
• CLIP 사전학습 가중치를 사용한 ViT는 동일한 사전학습 스킴을 사용하더라도 COCO 사전학습 기반 ResNet보다 뛰어난 성능을 보였으며, CLIP 초기화의 유용성을 입증했다.