[논문 리뷰] Access Control Using Spatially Invariant Permutation of Feature Maps for Semantic Segmentation Models

Hiroki Ito, AprilPyone MaungMaung외 1명|arXiv (Cornell University)|2021. 09. 03.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 4

한 줄 요약

이 논문은 비밀 키를 통한 특성 맵의 공간적으로 불변하는 순열을 이용하여 의미 분할 모델에 대한 새로운 접근 제어 방법을 제안한다. 이 방법은 정확한 키를 가진 정식 사용자는 거의 원본 성능을 달성할 수 있게 하며, 키가 없는 비정식 사용자는 심각한 정확도 저하를 경험함으로써 의미 분할 모델에 대한 강력한 보호 기능을 입증한다 — 기존의 키 기반 접근 제어 방법에서는 다루지 못했던 분야이다.

ABSTRACT

In this paper, we propose an access control method that uses the spatially invariant permutation of feature maps with a secret key for protecting semantic segmentation models. Segmentation models are trained and tested by permuting selected feature maps with a secret key. The proposed method allows rightful users with the correct key not only to access a model to full capacity but also to degrade the performance for unauthorized users. Conventional access control methods have focused only on image classification tasks, and these methods have never been applied to semantic segmentation tasks. In an experiment, the protected models were demonstrated to allow rightful users to obtain almost the same performance as that of non-protected models but also to be robust against access by unauthorized users without a key. In addition, a conventional method with block-wise transformations was also verified to have degraded performance under semantic segmentation models.

연구 동기 및 목표

• 의미 분할 모델에 대한 접근 제어 메커니즘이 부족한 점을 해결하기 위해, 점점 더 가치가 있으며 도용 및 오용의 위험이 높은 의미 분할 모델에 대해 대응하고자 한다.
• 이미지 분류 모델에만 국한되어 있던 키 기반 모델 보호 기법을 의미 분할 영역으로 확장하고자 한다.
• 정확한 비밀 키를 가진 사용자만 모델를 최고 성능으로 이용할 수 있도록 하며, 비정식 사용자는 심각한 성능 저하를 겪도록 보장하고자 한다.
• 의미 분할 출력의 구조적 무결성을 유지하는 데 핵심적인 공간적으로 불변인 보호 메커니즘을 설계하고자 한다.

제안 방법

• 이 방법은 훈련 및 추론 중에 ResNet-50 백본을 가진 완전 컨volution 네트워크(FCN)의 특정 특성 맵에 대해 비밀 키를 적용하여 순열을 수행한다.
• 순열은 특성 맵 전반에 걸쳐 공간적으로 균일하게 적용되어 공간적 불변성을 확보하며, 이는 분할 맵 품질을 유지하는 데 필수적이다.
• 비밀 키는 순열 패턴을 결정하며, 오직 정확한 키를 가진 사용자만 원래 특성 맵 순서로 전환할 수 있다.
• 주요 평가 지표로는 평균 교차율(mIoU)을 사용하여 의미 분할 작업에서의 성능을 평가한다.
• 이 방법은 원래 이미지 분류를 위해 설계된 전통적인 블록 기반 변환 방법(SHF, NP, FFX)과 비교된다.
• 모델는 키 기반 순열을 적용하여 훈련되고, 세 가지 조건에서 테스트된다: 정확한 키, 순열 없음, 잘못된 키.

실험 결과

연구 질문

• RQ1 의미 분할 모델은 공간적으로 불변한 변환이 필요하므로, 키 기반 접근 제어 메커니즘이 효과적으로 적용될 수 있는가?
• RQ2 제안된 공간적으로 불변한 순열 방법은 정식 사용자에게 비보호 모델 대비 의미 분할 성능에 어떤 영향을 미치는가?
• RQ3 잘못되거나 누락된 키로 접근할 경우 모델의 성능이 얼마나 저하되는가?
• RQ4 의미 분할 환경에서 기존의 블록 기반 변환 방법(SHF, NP, FFX)과 비교해 볼 때 제안된 방법은 어떠한가?
• RQ5 비정식 접근 시도, 특히 키 추정 공격에 대해 제안된 방법은 얼마나 강건한가?

주요 결과

• 정확한 키 조건에서 제안된 방법은 평균 IoU 0.5888을 달성하였으며, 비보호 기준 모델의 성능 0.5966과 매우 유사한 결과를 보였다.
• 잘못된 키 조건에서는 평균 IoU가 0.0000으로 떨어져 비정식 사용자에게 있어 분할 성능이 완전히 붕괴됨을 나타냈다.
• 순열 없이 테스트한 경우(No-perm)에도 성능은 낮게 유지되었으며(mIoU = 0.1595), 이는 모델가 키 없이 사용되더라도 보호 메커니즘이 효과가 있음을 확인한다.
• 기존의 블록 기반 변환 방법(SHF, NP, FFX)은 의미 분할 작업에서 심각한 성능 저하를 보였으며, 잘못된 키 조건에서는 mIoU가 거의 0에 수렴했고, 블록 크기가 클수록 정확한 키 조건에서도 성능이 낮게 유지되었다.
• 모든 블록 크기에서 제안된 방법이 기존 방법을 능가했으며, 기존 방법에서 가장 우수한 블록 크기(2)에서도 mIoU 0.5447에 그치는 데 반해, 제안된 방법은 0.5888의 mIoU를 기록했다.
• 그림 6의 시각적 결과는 정확한 키를 가진 정식 사용자만 일관되고 정확한 분할 맵을 생성하는 반면, 비정식 사용자는 의미 없는 출력을 생성한다는 것을 확인한다.