[논문 리뷰] Synthetic Data in Human Analysis: A Survey

Indu Joshi, Marcel Grimmer외 4명|arXiv (Cornell University)|2022. 08. 19.

Context-Aware Activity Recognition Systems인용 수 16

한 줄 요약

이 종합 검토는 인간 분석 분야에서의 합성 데이터 생성에 관한 현재 연구를 종합적으로 다루며, 생체 인식, 동작 인식, 개인 재확인 분야의 기법, 적용 사례 및 과제를 포함한다. 합성 데이터가 프라이버시, 확장성, 모델 일반화 능력을 향상시키는 데 기여하는 바를 강조하면서도, 신원 泄露, 표현 정밀도, 공개 데이터셋 공유 부족 등의 주요 문제점을 밝혀낸다.

ABSTRACT

Deep neural networks have become prevalent in human analysis, boosting the performance of applications, such as biometric recognition, action recognition, as well as person re-identification. However, the performance of such networks scales with the available training data. In human analysis, the demand for large-scale datasets poses a severe challenge, as data collection is tedious, time-expensive, costly and must comply with data protection laws. Current research investigates the generation of extit{synthetic data} as an efficient and privacy-ensuring alternative to collecting real data in the field. This survey introduces the basic definitions and methodologies, essential when generating and employing synthetic data for human analysis. We conduct a survey that summarises current state-of-the-art methods and the main benefits of using synthetic data. We also provide an overview of publicly available synthetic datasets and generation models. Finally, we discuss limitations, as well as open research problems in this field. This survey is intended for researchers and practitioners in the field of human analysis.

연구 동기 및 목표

• 인간 분석 응용 분야에서 제한적이고 고비용이며 프라이버시 제약이 있는 실세계 학습 데이터 문제를 해결하기 위한 핵심 과제를 다루기 위해.
• GDPR와 같은 규정 하에 실데이터 수거의 대안으로서 확장 가능하고 프라이버시를 보존하는 합성 데이터를 탐색하기 위해.
• 딥러닝을 위한 인간 분석 분야에서의 합성 데이터 생성의 이점, 한계 및 열린 연구 문제를 체계적으로 평가하기 위해.
• 최신 기술, 공개 가능한 데이터셋 및 평가 프레임워크에 대한 종합적인 개요를 제공하기 위해.
• 합성 데이터에서 인구 통계적 다양성과 표현 정밀도를 평가하기 위한 표준화된 평가의 필요성을 강조하기 위해.

제안 방법

• 인간 분석에 사용된 기존의 딥 생성 모델(예: GAN, VAE, 확산 모델, 스타일 기반 네트워크 등)을 조사하고 분류하기 위해.
• 완전 합성 및 반합성 접근 방식으로 합성 데이터 생성을 분류하며, 얼굴, 지문, 자세, 행동 생성에 응용하기 위해.
• 합성 데이터에서 실세계로의 도메인 간 격차를 줄이기 위한 학습 기반 전략(예: 합성 학습, 데이터 증강, 모델 초기화, 도메인 적응 등)을 분석하기 위해.
• 합성 데이터셋을 사용한 벤치마킹 평가 전략을 검토하며, 적대적 테스트 및 시스템 내구성 평가를 포함하기 위해.
• 신원 泄露를 줄이기 위한 기법(예: 아키텍처 정규화, 모델 복잡도 제어 등)을 분석하기 위해.
• 실제 샘플과 합성 샘플 간의 통계적 및 구조적 특성(예: 지문의 미니티아 분포 등)을 비교하여 표현 정밀도를 평가하기 위해.

실험 결과

연구 질문

• RQ1 합성 데이터는 개인정보 보호 규정(예: GDPR)을 준수하면서 인간 분석에서 모델 성능을 어떻게 향상시킬 수 있는가?
• RQ2 고정밀도, 프라이버시를 보존하는 합성 인간 데이터를 생성하는 데 있어 주요 기술적 및 윤리적 과제는 무엇인가?
• RQ3 합성 데이터셋은 실제 데이터에 존재하는 신체 내부 차이 및 인구 집단 간 차이를 어느 정도 반영하는가?
• RQ4 합성 데이터는 인간 분석에서 모델 사전학습, 미세조정, 도메인 적응에 어떻게 효과적으로 활용될 수 있는가?
• RQ5 공개된 합성 데이터셋 부족으로 인해 재현성 및 공정한 비교에 있어 주요 격차는 무엇인가?

주요 결과

• 합성 데이터는 생체 인식, 동작 인식, 개인 재확인 분야에서 학습 데이터의 규모와 다양성을 증가시켜 모델 성능을 크게 향상시킨다.
• 모델 복잡도가 학습 데이터 복잡도 이하일 경우, 생성 모델 내에서 개인의 신원을 기억하는 것을 막기 위해 신원 泄露가 감소한다.
• SFinGe가 생성한 합성 지문 데이터는 실제 지문과 통계적으로 다른 미니티아 분포를 보였으며, 이는 표현 정밀도 문제를 시사한다.
• 합성 왜곡 데이터로 훈련된 지문 강화 모델은 합성 노이즈가 실제 노이즈 패턴과 얼마나 잘 일치하는지에 따라 성능이 달라졌다.
• 현재 공개된 합성 데이터셋의 공유가 제한되어 있어, 다양한 방법 간 재현성과 공정한 벤치마킹에 악영향을 미치고 있다.
• ISO/IEC 19795-10 초안 표준은 합성 데이터셋에서 인구 통계 성능 변동성을 일관되게 평가하기 위한 프레임워크를 제공하고자 한다.