[논문 리뷰] Towards Reverse-Engineering Black-Box Neural Networks

Seong Joon Oh, Max Augustin외 2명|arXiv (Cornell University)|2017. 11. 06.

Adversarial Robustness in Machine Learning인용 수 46

한 줄 요약

이 논문은 입력-출력 쌍을 쿼리하여 모델 아키텍처, 최적화 알고리즘, 훈련 데이터셋과 같은 모델 속성을 추론함으로써 블랙박스 신경망을 역설계하는 방법을 제안한다. 다양한 화이트박스 모델에 기반한 메타모델을 훈련시켜 이러한 속성을 높은 정확도로 예측하며, 이 지식이 더 효과적인 적대적 공격을 가능하게 함으로써 화이트박스 모델과 블랙박스 모델의 경계를 흐리게 한다.

ABSTRACT

Many deployed learned models are black boxes: given input, returns output. Internal information about the model, such as the architecture, optimisation procedure, or training data, is not disclosed explicitly as it might contain proprietary information or make the system more vulnerable. This work shows that such attributes of neural networks can be exposed from a sequence of queries. This has multiple implications. On the one hand, our work exposes the vulnerability of black-box neural networks to different types of attacks -- we show that the revealed internal information helps generate more effective adversarial examples against the black box model. On the other hand, this technique can be used for better protection of private content from automatic recognition models using adversarial examples. Our paper suggests that it is actually hard to draw a line between white box and black box models.

연구 동기 및 목표

• 블랙박스 신경망의 내부 속성이 입력-출력 쿼리로부터 얼마나 정확히 추론될 수 있는지 조사한다.
• 지적 재산권 및 개인정보 보호와 관련된 블랙박스 모델의 역설계 취약성 문제를 다룬다.
• 입력-출력 쿼리 반응만을 사용하여 모델 속성(아키텍처, 최적화기, 훈련 데이터)을 예측하는 메타모델을 개발한다.
• 역설계된 지식이 블랙박스 모델에 대한 적대적 공격의 효과를 향상시킬 수 있음을 보여준다.
• 모델 패밀리와 쿼리 품질에 대한 일반화 능력을 평가하여 추론 방법의 강건성 여부를 탐색한다.

제안 방법

• 다양한 메타훈련 세트의 화이트박스 모델을 기반으로 메타모델을 훈련시어, 입력-출력 쿼리 반응으로부터 속성을 예측한다.
• 내부 모델 파라미터에 의존하지 않고, 쿼리 기반 입력-출력 쌍을 메타모델의 입력 특성으로 사용한다.
• 속성 예측에 최대 정보 수확을 얻을 수 있도록 정보 이득을 극대화하는 활동적 쿼리 최적화를 적용한다.
• 적대적 예제의 전이 가능성을 활용하여, 무작위 아키텍처가 아닌 예측된 모델 패밀리에 대해 퍼티루이션을 생성한다.
• 내부 패밀리 전이 가능성을 평가하기 위해 떼어내기 교차검증(leave-one-out cross-validation)을 사용한다.
• 화이트박스, 패밀리 알 수 있는 블랙박스, 완전히 알 수 없는 블랙박스의 세 가지 시나리오에서 공격 성능을 비교한다.

실험 결과

연구 질문

• RQ1 블랙박스 쿼리 반응으로부터 모델 아키텍처, 최적화 절차, 훈련 데이터셋을 얼마나 정확히 추론할 수 있는가?
• RQ2 쿼리의 품질과 양이 속성 추론 정확도에 어떤 영향을 미치는가?
• RQ3 역설계된 모델 속성이 블랙박스 모델에 대한 적대적 공격 성공률을 향상시킬 수 있는가?
• RQ4 다른 아키텍처 간 전이 가능성과 비교해, 동일 패밀리 내 전이 가능성은 더 뛰어나게 작용하는가?
• RQ5 목표 블랙박스 모델이 메타훈련 분포와 다를 경우, 메타모델의 일반화 능력은 어떠한가?

주요 결과

• 메타모델은 입력-출력 쿼리만으로도 아키텍처 패밀리, 최적화기(예: SGD 대비 ADAM), 훈련 데이터셋과 같은 모델 속성을 매우 높은 정확도로 예측한다.
• 모델 패밀리가 정확히 예측된 경우, 적대적 공격의 오분류율은 85.7%에 도달하여 패밀리 오라클 사례(86.2%)에 근접하며, 사전 지식이 없는 공격보다 뚜렷이 뛰어나다.
• 패밀리 내 전이 가능성은 패밀리 간 전이 가능성보다 뛰어나며, 표 4의 대각선 항목에서 동일 아키텍처 패밀리 내에서 더 높은 성공률을 보인다.
• 동일 패밀리의 여러 모델(예: ResNet101, ResNet152)에 대해 적대적 예제를 생성하는 것이 단일 모델이나 서로 다른 패밀리의 다수 모델을 대상으로 하는 것보다 더 효과적이다.
• 예측된 모델 패밀리에 집중함으로써 공격에 필요한 쿼리 비용을 크게 줄일 수 있으며, 이는 역설계가 공격 효율성을 향상시킬 수 있음을 보여준다.
• 본 연구는 화이트박스 모델과 블랙박스 모델의 경계가 흐려질 수 있음을 보여주며, 블랙박스 모델이 효과적으로 역설계되어 화이트박스 유사 공격이 가능하다.