[논문 리뷰] Efficient Attribute Unlearning: Towards Selective Removal of Input Attributes from Feature Representations

Tao Guo, Song Guo외 3명|arXiv (Cornell University)|2022. 02. 27.

Face recognition and analysis인용 수 7

한 줄 요약

이 논문은 상호정보량을 활용해 점진적인 분離를 이끌어내는 새로운 머신 언러닝 프레임워크인 '속성 언러닝'을 소개한다. 이 방법은 학습 중에 특정 입력 속성(예: 안경, 나이 등)을 선택적으로 제거함으로써 학습된 특징 표현에서 이를 제거한다. 이는 높은 언러닝 효율성과 최소한의 성능 저하를 달성하여 과제에 관련된 특징을 유지하면서도 개인정보 보호를 위한 모델 훈련을 가능하게 한다.

ABSTRACT

Recently, the enactment of privacy regulations has promoted the rise of the machine unlearning paradigm. Existing studies of machine unlearning mainly focus on sample-wise unlearning, such that a learnt model will not expose user's privacy at the sample level. Yet we argue that such ability of selective removal should also be presented at the attribute level, especially for the attributes irrelevant to the main task, e.g., whether a person recognized in a face recognition system wears glasses or the age range of that person. Through a comprehensive literature review, it is found that existing studies on attribute-related problems like fairness and de-biasing learning cannot address the above concerns properly. To bridge this gap, we propose a paradigm of selectively removing input attributes from feature representations which we name `attribute unlearning'. In this paradigm, certain attributes will be accurately captured and detached from the learned feature representations at the stage of training, according to their mutual information. The particular attributes will be progressively eliminated along with the training procedure towards convergence, while the rest of attributes related to the main task are preserved for achieving competitive model performance. Considering the computational complexity during the training process, we not only give a theoretically approximate training method, but also propose an acceleration scheme to speed up the training process. We validate our method by spanning several datasets and models and demonstrate that our design can preserve model fidelity and reach prevailing unlearning efficacy with high efficiency. The proposed unlearning paradigm builds a foundation for future machine unlearning system and will become an essential component of the latest privacy-related legislation.

연구 동기 및 목표

• 기존의 샘플 수준의 기억 삭제에만 초점을 맞춘 기계 언러닝 접근 방식의 한계를 보완하고, 속성 수준의 선택적 제거를 가능하게 하기 위해.
• 주요 과제 성능에 영향을 주지 않으면서도, 불필요하거나 민감한 속성(예: 얼굴 안경, 나이 등)을 학습된 특징 표현에서 정밀하게 분리할 수 있도록 하기 위해.
• 이론적으로 탄탄하고 계산적으로 효율적인 훈련 방법을 개발하여, 모델 훈련 중 특정 속성의 점진적 언러닝을 지원하기 위해.
• 속성 언러닝이 실생활 개인정보 보호 규정(예: GDPR, CCPA 등)과도 호환되고 확장 가능하도록 보장하기 위해.

제안 방법

• 입력 속성과 특징 표현 간의 상호정보량을 활용해 민감한 속성을 식별하고 분리하여 언러닝 대상으로 선정한다.
• 훈련 중에 주 특징 공간에서 대상 속성을 점진적으로 분리하기 위해 표현 분리 모듈을 도입한다.
• 상호정보량 손실을 효율적으로 추정함으로써 계산 복잡도를 감소시키는 근사 기법을 제안하여 확장 가능한 훈련을 가능하게 한다.
• 표준 딥러닝 파ip라인에 쉽게 통합되며, 최소한의 아키텍처 변경으로도 엔드 투 엔드 훈련을 지원한다.
• 특징 표현에서 속성 분리가 촉진되면서도 주 과제에 관련된 특징을 유지하도록 전용 손실 함수를 통해 훈련 과정을 최적화한다.
• 특히 대규모 데이터셋에서 유의미한 성능 향상을 위해 수렴 속도를 높이는 가속화 기법을 도입한다.

실험 결과

연구 질문

• RQ1 주 과제 성능에 영향을 주지 않으면서도, 학습된 특징 표현에서 특정 입력 속성을 선택적으로 제거할 수 있는가?
• RQ2 입력 속성과 특징 간의 상호정보량을 어떻게 활용하여 언러닝 과정을 이끌 수 있는가?
• RQ3 저비용의 계산 부담으로도 점진적인 속성 언러닝을 가능하게 하는 효율적이고 확장 가능한 훈련 방법은 무엇인가?
• RQ4 속성 언러닝은 민감한 속성을 제거하면서도 모델의 정밀도를 어느 정도 유지할 수 있는가?

주요 결과

• 제안된 속성 언러닝 방법은 훈련 중에 대상 속성(예: 안경, 나이 등)을 특징 표현에서 높은 정확도로 분리하는 데 성공한다.
• 주 분류 과제에서 경쟁적인 성능을 유지하며, 언러닝 후 정확도 저하가 최소한으로 발생함을 입증하였다.
• 상호정보량 손실 계산을 위한 근사 기법이 훈련 시간을 크게 단축시키면서도 언러닝 효율성을 유지함을 확인하였다.
• 다양한 데이터셋과 모델을 대상으로 실시한 광범위한 실험을 통해 본 방법의 강건성과 확장 가능성이 실생활 환경에서 입증되었다.
• 기존의 공정성 및 편향 제거 방법들이 특정 속성의 명시적 제거를 보장하지 못하는 데 비해, 본 방법은 이를 명시적으로 수행함으로써 우월한 성능을 보였다.
• 본 프레임워크는 개인정보 보호 규정에서 요구하는 모델 표현에서 개인 속성의 선택적 제거를 위한 기반을 제공한다.