[논문 리뷰] The 2021 Hotel-ID to Combat Human Trafficking Competition Dataset

Rashmi Kamath, Gregory Rolwes외 2명|arXiv (Cornell University)|2021. 06. 10.

Sex work and related issues참고 문헌 12인용 수 5

한 줄 요약

이 논문은 인신매매 수사의 맥락에서 세분화된 시각 인식을 위한 대규모 실생활 기준으로서의 2021년 Hotel-ID 데이터셋을 소개한다. TraffickCam 모바일 앱을 통해 수집된 저품질, 부분가림, 다양한 시점의 이미지에서 호텔을 식별하는 과제를 제기하며, 분류 기반 접근 방식이 SOTA 성능(Recall@1: 49.3%)을 달성한 반면, 메트릭 학습 방법은 개방형 환경 배포에서 더 뛰어난 일반화 잠재력을 보여주었다.

ABSTRACT

Hotel recognition is an important task for human trafficking investigations since victims are often photographed in hotel rooms. Identifying these hotels is vital to trafficking investigations since they can help track down current and future victims who might be taken to the same places. Hotel recognition is a challenging fine grained visual classification task as there can be little similarity between different rooms within the same hotel, and high similarity between rooms from different hotels (especially if they are from the same chain). Hotel recognition to combat human trafficking poses additional challenges as investigative images are often low quality, contain uncommon camera angles and are highly occluded. Here, we present the 2021 Hotel-ID dataset to help raise awareness for this problem and generate novel approaches. The dataset consists of hotel room images that have been crowd-sourced and uploaded through the TraffickCam mobile application. The quality of these images is similar to investigative images and hence models trained on these images have good chances of accurately narrowing down on the correct hotel.

연구 동기 및 목표

• 인신매매 수사에서 피해자가 종종 호텔 객실에서 찍힌 사진을 찍히는 바탕으로 정확한 호텔 식별이 필요한 긴급한 필요성을 해결하기 위해.
• 저품질 이미지, 가림, 다양한 카메라 각도 등의 실생활 제약 조건 하에서 세분화된 시각 인식을 위한 현실적인 대규모 기준을 제공하기 위해.
• 특히 인신매매 방지를 위한 사회적 선량을 위한 목적의 시각 인식 연구를 환기하고 새로운 연구를 자극하기 위해.
• 기존에 알려지지 않은 호텔에 대해 고정밀도 분류 및 확장 가능한 일반화된 검색 방법을 지원하는 데이터셋과 경진대회를 개발하기 위해.

제안 방법

• 데이터셋은 전 세계 여행자들이 TraffickCam 모바일 애플리케이션을 통해 기여한 커뮤니티 기반 이미지에서 구성된다. 이는 실제 여행자들이 찍은 실존하는 호텔 객실을 반영한다.
• 훈련 세트는 86개의 호텔 체인에 속한 7,770개의 고유한 호텔에서 확보한 97,527장의 이미지로 구성되며, 조명, 구성, 가림 등의 실생활 변동성을 반영한다.
• 테스트 세트는 훈련 세트에 포함된 호텔들에서, 다른 사용자와 기기로 촬영된 12,400장의 이미지로 구성되어 실생활 배포 환경을 시뮬레이션한다.
• 기준 모델 평가에서는 분류(교차 엔트로피 손실) 및 메트릭 학습(SCT, EPHN, 배치-모든) 접근 방식을 비교하여 성능 및 일반화 능력을 평가한다.
• 평가에서는 표준 검색 메트릭인 Recall@K(K=1, 10, 100)과 5에서의 평균 정밀도(MAP@5)를 사용하며, 결과는 테스트 세트 기준으로 보고된다.
• 윤리적 보호 조치를 고려하여 시스템이 국립실종 및 착취 어린이센터에만 접근을 제한하고, 오용 위험을 줄이기 위해 데이터暴露를 최소화하도록 설계되었다.

실험 결과

연구 질문

• RQ1 실생활 저품질 호텔 이미지로 훈련된 딥러닝 모델이 테스트 이미지에서 정확한 호텔을 식별하는 데 높은 정확도를 달성할 수 있는가?
• RQ2 분류 기반 모델과 메트릭 학습 기반 모델 간의 성능 및 새로운 호텔에 대한 일반화 능력은 어떻게 비교되는가?
• RQ3 동일한 호텔 체인에 속한 객실 간의 시각적 유사성이, 특히 동일 체인 내 다른 호텔의 객실이 서로 더 유사한 경우, 식별에 어떤 영향을 미치는가?
• RQ4 이 데이터셋으로 훈련된 모델이 훈련 중에 보지 못한 새로운 호텔에 일반화될 수 있는가? 특히 수십만 개의 잠재적 호텔 클래스가 존재하는 실생활 배포 환경에서의 경우에 대해 어떻게 되는가?
• RQ5 호텔 식별 시스템을 배포할 경우 윤리적 영향은 무엇이며, 취약한 인구 집단에 대한 오용을 방지하기 위해 어떻게 완화할 수 있는가?

주요 결과

• 교차 엔트로피 기반 분류 접근 방식이 가장 높은 성능을 보였으며, Recall@1 점수는 49.3%를 기록하여 모든 메트릭 학습 기반 기준 모델을 압도했다.
• SCT(선택적 대비 학습)와 같은 메트릭 학습 방법은 Recall@1이 36.04%를 기록하여 개방형 환경에서 새로운 호텔에 대한 일반화 잠재력이 뛰어나다는 점을 입증했다.
• 분류 모델은 5위 이내 검색 정확도(MAP@5)가 55.1%를 기록하여 세분화된 작업임에도 불구하고 뛰어난 상위 5위 검색 성능을 보였다.
• 높은 가림이나 이례적인 카메라 각도와 같은 도전적인 경우에도 분류 모델은 관련 매칭을 찾았으며, 동일한 체인에 속한 다른 호텔의 거의 동일한 객실도 식별했다.
• 정성적 분석 결과, SCT와 같은 메트릭 학습 방법은 카펫이나 선반과 같은 특정 시각적 특징에 더 민감한 반면, 분류 모델은 전체적으로 더 강건한 것으로 나타났다.
• 이 연구는 기존에 알려진 호텔에 대한 높은 정확도와 새로운 호텔에 대한 확장성 사이의 상충 관계를 드러내며, 메트릭 학습 방법이 실생활 배포에 더 적합함을 시사한다.