[논문 리뷰] Training with the Invisibles: Obfuscating Images to Share Safely for Learning Visual Recognition Models

Taehoon Kim, Dongmin Kang외 2명|arXiv (Cornell University)|2019. 01. 01.

Face recognition and analysis참고 문헌 38인용 수 11

한 줄 요약

이 논문은 인간이 사생활 정보를 인식할 수 없도록 하면서도 시각 인식 모델 훈련에 유용한 이미지를 가로막는 방법을 제안한다. 원본 이미지 대비 성능이 0.48% 이내로 유지되는 것으로 나타났다. 이미지 분류, 속성 분류, 얼굴 랜드마크 검출 등의 작업에서 훈련된 모델은 원본 이미지로 훈련된 모델과 거의 동일한 성능을 보였다.

ABSTRACT

High-performance visual recognition systems generally require a large collection of labeled images to train. The expensive data curation can be an obstacle for improving recognition performance. Sharing more data allows training for better models. But personal and private information in the data prevent such sharing. To promote sharing visual data for learning a recognition model, we propose to obfuscate the images so that humans are not able to recognize their detailed contents, while machines can still utilize them to train new models. We validate our approach by comprehensive experiments on three challenging visual recognition tasks; image classification, attribute classification, and facial landmark detection on several datasets including SVHN, CIFAR10, Pascal VOC 2012, CelebA, and MTFL. Our method successfully obfuscates the images from humans recognition, but a machine model trained with them performs within about 1% margin (up to 0.48%) of the performance of a model trained with the original, non-obfuscated data.

연구 동기 및 목표

• 사생활 또는 민감한 콘텐츠로 인해 시각 데이터셋 공유에 어려움이 발생하는 문제를 해결하기 위해.
• 개인 정보 폭로 없이 고성능 시각 인식 모델을 훈련하기 위한 안전한 데이터 공유를 가능하게 하기 위해.
• 기계 학습을 위한 유용성을 유지하면서 인간이 인식할 수 없도록 이미지를 변형하는 방법을 개발하기 위해.
• 원본 데이터로 훈련된 모델와 비교해, 가로막힌 데이터로 훈련된 모델가 다양한 시각 인식 작업에서 거의 동일한 성능을 유지하는지 검증하기 위해.

제안 방법

• 딥 네ural 네트워크 기반의 가로막기 기법을 적용하여 인간이 인식할 수 있는 콘텐츠를 흐리게 하되, 훈련에 유용한 의미 정보는 유지한다.
• 가로막힌 이미지가 특징 공간에서 원본 입력과 의미적으로 유사하게 유지되도록 유도하기 위해 미분 가능한 손실 함수를 사용한다.
• 인간의 인식을 최소화하면서 모델의 유용성을 유지하기 위해, 인지적 손실과 적대적 손실을 조합하여 엔드 투 엔드로 가로막기 모델을 훈련시킨다.
• 가로막힌 이미지로 시각 인식 모델을 훈련시켜 원본 데이터로 훈련된 모델와의 성능을 평가한다.
• 일반화 성능을 테스트하기 위해 SVHN, CIFAR10, Pascal VOC 2012, CelebA, MTFL과 같은 표준 벤치마크를 활용한다.
• 가로막기가 모델의 인식을 위한 관련 특징 학습 능력을 떨어뜨리지 않도록 보장하기 위해 프록시 작업을 사용한다.

실험 결과

연구 질문

• RQ1 인간이 사생활이나 민감한 콘텐츠를 인식할 수 없도록 하면서도 시각 인식 모델 훈련에 유용한 이미지를 가로막을 수 있는가?
• RQ2 다양한 시각 인식 작업에서 가로막힌 데이터로 훈련된 모델의 성능은 원본 데이터로 훈련된 모델과 비교해 어떻게 되는가?
• RQ3 가로막기 과정이 정확한 모델 훈련에 필요한 의미 정보를 어느 정도 유지하는가?
• RQ4 제안된 방법이 다양한 데이터셋과 인식 작업(이미지 분류, 속성 분류, 얼굴 랜드마크 검출 포함)에 일반화 가능한가?

주요 결과

• 제안된 가로막기 방법은 이미지의 세부 콘텐츠를 인간이 인식하지 못하도록 효과적으로 차단하면서도 높은 모델 성능을 유지한다.
• 가로막힌 데이터로 훈련된 모델의 정확도는 원본 이미지로 훈련된 모델의 정확도와 0.48% 이내로 유사하게 유지되었다.
• 이미지 분류, 속성 분류, 얼굴 랜드마크 검출 등 다양한 작업에서 일관된 성능을 보였다.
• SVHN, CIFAR10, Pascal VOC 2012, CelebA, MTFL과 같은 도전적인 데이터셋에서도 모델의 유용성이 유지되었다.
• 모든 평가 작업에서 원본 데이터와 가로막힌 데이터로 훈련된 모델 간의 성능 격차는 최대 0.48% 이내로 매우 미미했다.
• 가로막기 과정은 원본 민감한 데이터에 접근하지 못하는 인식 모델이 효과적으로 학습할 수 있도록 충분한 의미 정보를 유지했다.