[논문 리뷰] Learning Effective Visual Relationship Detector on 1 GPU

Yichao Lu, Cheng Chang외 3명|arXiv (Cornell University)|2019. 12. 12.

Advanced Neural Network Applications참고 문헌 13인용 수 4

한 줄 요약

이 논문은 단일 GPU에서 2일 이내에 완전한 시각적 관계 검출 파이프라인을 훈련시킬 수 있는 새로운 부분적 가중치 전이 방법을 제안한다. 이는 Open Images 2019 시각적 관계 챌린지에서 최고 성능을 기록하며, 사전 훈련된 가중치를 클래스 매칭된 방식으로 객체 검출기의 분류 및 회귀 헤드에 초기화하고, 공간-의미적 특징과 시각적 특징을 학습 가능한 융합 모델을 통해 통합함으로써, 사전 랭킹에서 2위 팀보다 5% 이상 뛰어난 성능을 달성한다.

ABSTRACT

We present our winning solution to the Open Images 2019 Visual Relationship challenge. This is the largest challenge of its kind to date with nearly 9 million training images. Challenge task consists of detecting objects and identifying relationships between them in complex scenes. Our solution has three stages, first object detection model is fine-tuned for the challenge classes using a novel weight transfer approach. Then, spatio-semantic and visual relationship models are trained on candidate object pairs. Finally, features and model predictions are combined to generate the final relationship prediction. Throughout the challenge we focused on minimizing the hardware requirements of our architecture. Specifically, our weight transfer approach enables much faster optimization, allowing the entire architecture to be trained on a single GPU in under two days. In addition to efficient optimization, our approach also achieves superior accuracy winning first place out of over 200 teams, and outperforming the second place team by over $5\%$ on the held-out private leaderboard.

연구 동기 및 목표

• 대규모 시각적 관계 검출 모델 훈련을 위한 하드웨어 요구 사항을 줄여, 자원이 제한된 연구자들에게도 접근 가능하게 하기.
• Open Images V5와 같은 거대한 데이터셋에서 시각적 관계 검출의 훈련 효율성과 수렴 속도를 향상시키기.
• 계산 비용을 최소화하면서도 Open Images 2019 시각적 관계 챌린지에서 최고 성능을 달성하기.
• 객체 검출, 공간-의미적 추론, 시각적 특징 모델링을 통합한 정확한 관계 예측을 위한 강력한 파이프라인 개발하기.

제안 방법

• 소스 및 타겟 데이터셋 간 클래스 매칭을 통해 COCO 및 Open Images에서 사전 훈련된 가중치를 활용해 Faster R-CNN 기반 검출기의 분류 및 회귀 헤드를 초기화하는 부분적 가중치 전이 전략을 제안한다.
• 랜덤 초기화에 비해 훨씬 빠른 수렴을 이끌어내기 위해, 도전 과제 데이터셋에서 검출기의 미세조정을 수행하며 최소한의 업데이트만 사용한다.
• 후보 객체 쌍에 대해 두 개의 별도 모델을 훈련한다: 공간적 및 클래스 기반 맥락을 위한 기울기 부스팅 모델(스페이셜-의미적 특징), 객체 쌍 주변 이미지 패치를 위한 CNN 기반 모델(시각적 특징).
• 스페이셜-의미적 특징과 시각적 특징 예측을 최적의 방식으로 융합하기 위해 가중치 합산을 통해 예측을 통합하는 제3단계 모델을 도입함으로써 일반화 성능을 향상시킨다.
• 'is' 관계(객체-속성)는 별도로 처리하며, 클래스별 헤드 초기화를 적용한 전용 모델을 사용해 객체-속성 쌍에서 훈련한다.
• 세 단계 파이프라인을 활용한다: (1) 객체 검출, (2) 후보 쌍에 대한 특징 추출, (3) 최종 관계 출력을 위한 특징 및 예측의 종단 간 융합.

실험 결과

연구 질문

• RQ1 성능을 저하시키지 않고 단일 GPU에서 효율적으로 시각적 관계 검출 시스템을 훈련시킬 수 있는가?
• RQ2 특히, 새로운 대규모 시각적 관계 데이터셋에서 수렴 속도를 높이기 위해, 클래스 매칭된 사전 훈련된 가중치로 검출기 헤드를 초기화하는 부분적 가중치 전이 전략이 얼마나 효과적인가?
• RQ3 학습 가능한 융합 메커니즘이 시각적 관계 검출에서 스페이셜-의미적 특징과 시각적 특징 예측을 단순 평균화하는 것보다 성능을 높일 수 있는가?
• RQ4 어떤 속성(예: 투명, 플라스틱)이 시각적 관계 검출에서 더 큰 도전 과제가 되는가? 그리고 훈련 데이터 분포가 모델 성능에 어떤 영향을 미치는가?
• RQ5 공간, 의미, 시각적 신호를 별도로 모델링하는 다단계 파이프라인은 복잡한 시각적 관계 검출에서 종단 간 모델보다 얼마나 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 부분적 가중치 전이 방법 덕분에 단일 GPU에서 훈련 시간이 2일 이내로 단축되어 자원이 제한된 연구자들에게도 효율적인 훈련이 가능해졌다.
• 모델은 Open Images 2019 시각적 관계 챌린지에서 1위를 차지했으며, 사전 랭킹에서 2위 팀보다 5% 이상 뛰어난 성능을 기록했다.
• 제3단계 융합 모델은 개별 모델 대비 모든 5개의 관계에서 성능 향상을 보였으며, 'at' 관계에서 mAP_rel가 5.1점 향상되어 상대적 개선률 11%를 기록했다.
• 스페이셜-의미적 모델은 'at' 및 'hits' 관계에서 뛰어난 성능를 보였고, 시각적 모델은 'plays' 및 'inside_of' 관계에서 뛰어난 성능를 보였으며, 이는 두 모odal 유형이 모두 필요하다는 것을 입증한다.
• 특성 '투명'과 '플라스틱'은 레이블의 모호성과 훈련 인스턴스 수가 적어 모델이 가장 어려움을 겪었으며, 특히 일반 가구 물체에서 두드러졌다.
• 정성적 분석 결과, 복잡한 장면(예: 여러 명의 음악가)에서도 강건한 성능를 보였지만, 3D에서 2D로의 투영의 모호성과 가림 현상으로 인한 실패가 발생했으며, 이는 깊이 정보나 다중 시점 입력을 활용할 경우 향상 가능할 수 있음을 시사한다.