[논문 리뷰] Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources

Yun Yun Tsai, Pin‐Yu Chen외 1명|arXiv (Cornell University)|2020. 07. 17.

Cell Image Analysis Techniques인용 수 28

한 줄 요약

이 논문은 아키텍처나 파라미터에 접근할 수 없는 사전 훈련된 블랙박스 기계학습 모델—예를 들어 API나 기업 소유 소프트웨어—를 재프로그래밍하는 새로운 전이 학습 방법인 블랙박스 적대적 재프로그래밍(BAR)을 제안한다. 제로스터 옵티마이제이션과 다중 레이블 매핑을 활용하여, 화이트박스 적대적 재프로그래밍 수준의 성능를 달성하고, 특히 데이터가 부족한 의료 영상 작업에서 표준 파인튜닝을 뛰어넘는다.

ABSTRACT

Current transfer learning methods are mainly based on finetuning a pretrained model with target-domain data. Motivated by the techniques from adversarial machine learning (ML) that are capable of manipulating the model prediction via data perturbations, in this paper we propose a novel approach, black-box adversarial reprogramming (BAR), that repurposes a well-trained black-box ML model (e.g., a prediction API or a proprietary software) for solving different ML tasks, especially in the scenario with scarce data and constrained resources. The rationale lies in exploiting high-performance but unknown ML models to gain learning capability for transfer learning. Using zeroth order optimization and multi-label mapping techniques, BAR can reprogram a black-box ML model solely based on its input-output responses without knowing the model architecture or changing any parameter. More importantly, in the limited medical data setting, on autism spectrum disorder classification, diabetic retinopathy detection, and melanoma detection tasks, BAR outperforms state-of-the-art methods and yields comparable performance to the vanilla adversarial reprogramming method requiring complete knowledge of the target ML model. BAR also outperforms baseline transfer learning approaches by a significant margin, demonstrating cost-effective means and new insights for transfer learning.

연구 동기 및 목표

• 사전 훈련된 모델의 전체 접근과 수정이 필요로 하는 현재의 전이 학습 방법의 한계를 해결하기 위해.
• 데이터가 부족하고 계산 자원이 제한된 환경에서 효과적인 전이 학습을 가능하게 하기 위해.
• 입력-출력 응답만 관찰 가능한, 내부 구조에 접근 불가인 블랙박스 환경으로 적대적 재프로그래밍을 확장하기 위해.
• 강력한 사전 훈련된 모델이 파인튜닝이나 모델 검사 없이도 새로운 작업에 재사용될 수 있음을 입증하기 위해.
• 의료와 같은 개인정보가 민감하거나 접근 제한이 있는 도메인에서 고성능 기계학습을 구현하기 위한 비용 효율적이고 실용적인 솔루션을 제공하기 위해.

제안 방법

• 모델 아키텍처나 파라미터에 접근할 수 없더라도 입력-출력 응답에서 기울기를 추정할 수 있도록 제로스터 옵티마이제이션(ZOO)을 활용하여 최적화를 수행한다.
• 원천 도메인(예: ImageNet)과 대상 도메인(예: 의료)의 레이블을 정렬하기 위해 다중 레이블 매핑을 적용하여 레이블 전이 효율을 향상시킨다.
• 주요 대상 클래스에 더 적합한 원천 레이블을 할당하기 위해 주파수 기반 레이블 매핑을 적용하여 수렴성과 성능을 향상시킨다.
• 불균형하거나 분류가 어려운 샘플에 특히 유리한 학습 역학을 향상시키기 위해 최적화 중 크로스 엔트로피 손실과 포칼 손실을 모두 사용한다.
• 모델의 예측이 목표 작업에 맞도록 입력에 대한 통합된 교란을 학습하여 블랙박스 모델을 재프로그래밍한다.
• 실제 API와 사전 훈련된 모델을 대상으로 방법을 검증하여 실용적 제약 조건 하에서도 실행 가능성과 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 모델의 내부 구조나 파라미터에 접근할 수 없을 때에도 블랙박스 기계학습 모델에서 효과적인 전이 학습을 수행할 수 있는가?
• RQ2 레이블이 제한된 의료 영상과 같은 데이터가 부족한 환경에서 적대적 재프로그래밍은 어떻게 작동하는가?
• RQ3 제로스터 옵티마이제이션이 블랙박스 모델 재프로그래밍에서 백프로파게이션을 효과적으로 대체할 수 있는가?
• RQ4 다른 레이블 매핑 전략(랜덤 대비 주파수 기반)이 모델 성능과 수렴성에 미치는 영향은 어떠한가?
• RQ5 손실 함수의 선택(예: 포칼 손실 대비 크로스 엔트로피)이 블랙박스 적대적 재프로그래밍 성능에 어떤 영향을 미치는가?

주요 결과

• BAR는 모델 내부 구조에 접근할 수 없음에도 불구하고 화이트박스 적대적 재프로그래밍 기준선 대비 3~5% 이내의 테스트 정확도를 달성한다.
• 자폐 스펙트럼 장애(ASD), 당뇨병 망막병변(DR), 피부암 검출 작업에서 BAR는 최신 기술 수준의 전이 학습 방법과 표준 파인튜닝을 크게 앞서며 성능을 뛰어넘는다.
• 주파수 기반 다중 레이블 매핑은 모든 작업에서 랜덤 매핑 대비 수렴 속도를 향상시키고 테스트 정확도를 3~5% 향상시킨다.
• 포칼 손실은 크로스 엔트로피 손실 대비 더 빠른 수렴을 이끌어내며, 불균형한 의료 데이터셋에서 BAR의 성능을 3~5% 향상시킨다.
• t-SNE 시각화 결과 BAR가 파인튜닝보다 더 분류 능력이 뛰어나고 잘 분리된 특징 표현을 학습함을 확인하여 우수한 표현 학습 능력을 입증한다.
• 최소한의 계산 비용과 모델 접근 없이도 실제 온라인 이미지 분류 API를 성공적으로 재프로그래밍하여 실용적 구현 가능성을 입증한다.