[논문 리뷰] SBNet: Segmentation-based Network for Natural Language-based Vehicle Search

Sangrok Lee, Taekang Woo외 1명|arXiv (Cornell University)|2021. 04. 22.

Multimodal Machine Learning Applications참고 문헌 29인용 수 7

한 줄 요약

SBNet는 자연어 기반 차량 검색을 위한 세그멘테이션 기반 딥 뉴럴 네트워크로, 어텐션 메커니즘과 두 가지 새로운 모듈—치환 및 미래 예측—을 활용하여 다중 모odal 정렬과 시간적 모델링을 향상시킨다. 이는 AI City Challenge 2021에서 MRR 0.1195로 10위를 기록하며 기준 모델(MRR 0.0269)을 크게 능가한다.

ABSTRACT

Natural language-based vehicle retrieval is a task to find a target vehicle within a given image based on a natural language description as a query. This technology can be applied to various areas including police searching for a suspect vehicle. However, it is challenging due to the ambiguity of language descriptions and the difficulty of processing multi-modal data. To tackle this problem, we propose a deep neural network called SBNet that performs natural language-based segmentation for vehicle retrieval. We also propose two task-specific modules to improve performance: a substitution module that helps features from different domains to be embedded in the same space and a future prediction module that learns temporal information. SBnet has been trained using the CityFlow-NL dataset that contains 2,498 tracks of vehicles with three unique natural language descriptions each and tested 530 unique vehicle tracks and their corresponding query sets. SBNet achieved a significant improvement over the baseline in the natural language-based vehicle tracking track in the AI City Challenge 2021.

연구 동기 및 목표

• 이미지 쿼리가 제공되지 않는 감시 시스템에서 자연어 기반 차량 검색의 과제를 해결하기 위해.
• 다중 모달 데이터에서 자연어 기술서와 시각적 특징 간의 다중 모달 정렬을 향상시키기 위해.
• 도메인 이동과 차량 추적의 시간적 동역학을 모델링하는 작업별 모듈을 통해 성능을 향상시키기 위해.
• 고정밀도 공간 정확도로 자연어 쿼리에 기반해 대상 차량을 국소화하는 세그멘테이션 기반 네트워크를 개발하기 위해.

제안 방법

• 이미지 인식 모듈(IPM)과 언어 모델링 모듈(NLM)을 사용하여 이미지와 자연어 기술서를 동시에 처리하는 세그멘테이션 기반 네트워크인 SBNet를 제안한다.
• 공유된 특징 공간에서 시각적 및 텍스트 임베딩을 정렬하기 위해 다중 모달 융합 모듈을 통합한다.
• 다른 도메인(예: 텍스트 및 이미지)의 특징을 도메인 불변 표현을 학습하여 정렬하기 위해 치환 모듈을 도입한다.
• 미래 프레임 예측을 사용하여 차량 트랙의 시간적 운동 패턴을 모델링하기 위해 미래 예측 모듈을 활용한다.
• 미래 예측에는 평균 제곱 오차 손실을, 분류에는 교차 엔트로피 손실을 사용하며, 과적합 방지를 위해 레이블 스무딩을 적용한다.
• CityFlow-NL 데이터셋에서 일관되지 않은 기술서를 통합하기 위해 색상 및 유형 투표를 통한 데이터 노이즈 제거를 적용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 자연어 기술서와 시각적 특징을 효과적으로 정렬하여 차량 검색에 활용할 수 있는가?
• RQ2 시간적 모델링은 자연어 쿼리 기반 차량 추적의 검색 성능 향상에 어떤 역할을 하는가?
• RQ3 치환 모듈을 통한 도메인 정렬은 다중 모달 검색에서 다중 모달 임베딩 품질을 향상시킬 수 있는가?
• RQ4 미래 예측 및 치환과 같은 보조 모듈은 세그멘테이션 기반 검색에서 성능 향상에 어떻게 기여하는가?
• RQ5 세그멘테이션 기반 접근 방식은 자연어 기반 차량 검색에서 기준 모델을 얼마나 뛰어나게 성능을 높일 수 있는가?

주요 결과

• SBNet는 CityFlow-NL 벤치마크에서 MRR 0.1195를 기록하여 AI City Challenge 2021에서 10위를 차지했다.
• 치환 모듈만으로도 기준 모델 대비 MRR가 1% 향상되어 다중 도메인 특징 정렬의 효과성을 입증했다.
• 미래 예측 모듈은 MRR 0.7% 향상 기여하여 차량 추적에서 시간적 모델링의 가치를 보여주었다.
• 분류 모듈은 MRR 0.5% 향상 기여하여 보조 감독의 점진적인 이점을 보여주었다.
• 모든 모듈을 통합했을 때 SBNet는 기준 모델(MRR 0.0269) 대비 3.5배 향상된 성능을 기록하여 제안된 구성 요소 간의 상호보완적 효과를 확인했다.
• 제거 실험을 통해 각 모듈이 성능 향상에 독립적으로 기여하며, 전체 모델이 모든 변형보다 뛰어난 성능을 보임을 확인했다.