[논문 리뷰] Robustness of different loss functions and their impact on networks learning capability

Vishal Rajput|arXiv (Cornell University)|2021. 10. 15.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 딥러닝 모델에서 다양한 손실 함수—특히 일반화된(예: 이元 교차 엔트로피) 및 전문화된(예: Dice, 포칼 손실) 손실 함수의 강건성에 대해 조사한다. 공격자 기반 강건성에 대한 제어된 실험을 통해, 손실 함수를 조합함으로써 기울기 기반 변형에 대한 모델의 저항력이 향상됨을 입증하며, 하이브리드 손실 전략이 주목할 만한 기울기 공격 하에서 정확도 유지에 기여함을 보여준다.

ABSTRACT

Recent developments in AI have made it ubiquitous, every industry is trying to adopt some form of intelligent processing of their data. Despite so many advances in the field, AIs full capability is yet to be exploited by the industry. Industries that involve some risk factors still remain cautious about the usage of AI due to the lack of trust in such autonomous systems. Present-day AI might be very good in a lot of things but it is very bad in reasoning and this behavior of AI can lead to catastrophic results. Autonomous cars crashing into a person or a drone getting stuck in a tree are a few examples where AI decisions lead to catastrophic results. To develop insight and generate an explanation about the learning capability of AI, we will try to analyze the working of loss functions. For our case, we will use two sets of loss functions, generalized loss functions like Binary cross-entropy or BCE and specialized loss functions like Dice loss or focal loss. Through a series of experiments, we will establish whether combining different loss functions is better than using a single loss function and if yes, then what is the reason behind it. In order to establish the difference between generalized loss and specialized losses, we will train several models using the above-mentioned losses and then compare their robustness on adversarial examples. In particular, we will look at how fast the accuracy of different models decreases when we change the pixels corresponding to the most salient gradients.

연구 동기 및 목표

• 다양한 손실 함수가 딥 네ural 네트워크의 학습 능력과 강건성에 미치는 영향를 이해하는 것.
• 단일 손실 학습 대비 다중 손실 함수를 조합함으로써 모델 성능과 강건성이 향상되는지 평가하는 것.
• 특히 안전이 중요한 응용 분야에서 악성 예제 하에서 인공지능 시스템의 실패 모드를 조사하는 것.
• 불균형 또는 공격 환경에서 전문화된 손실 함수가 일반화된 손실 함수보다 더 잘 작동하는 이유에 대한 경험적 통찰을 제공하는 것.

제안 방법

• 일반화된 손실 함수(예: 이원 교차 엔트로피)와 전문화된 손실 함수(예: Dice, 포칼 손실)의 조합을 사용하여 다수의 딥러닝 모델을 훈련시켰다.
• 가장 주목할 만한 기울기와 관련된 픽셀을 수정하여 기울기 기반 공격을 적용했다.
• 변형 강도를 점차 증가시키며 정확도 저하 비율을 측정하여 강건성을 평가했다.
• 표준화된 벤치마크를 사용하여 다양한 손실 구성에서의 모델 성능을 비교했다.
• 클래스 불균형이 있는 이미지 분류 작업에서 통제된 아블레이션 연구를 통해 강건성을 평가했다.
• 고기울기 방향으로 변형을 적용하면서 정확도 저하 정도를 시간 경과에 따라 추적했다.

실험 결과

연구 질문

• RQ1 손실 함수의 선택이 공격에 노출된 딥 네럴 네트워크의 강건성에 어떻게 영향을 미치는가?
• RQ2 다수의 손실 함수를 조합함으로써 단일 손실 학습 대비 일반화 및 저항력 향상이 이루어지는가?
• RQ3 왜 포칼 손실이나 Dice 손실과 같은 전문화된 손실 함수가 불균형 또는 공격 환경에서 더 잘 작동하는가?
• RQ4 가장 주목할 만한 기울기 방향으로 변형이 적용될 경우 정확도가 얼마나 빨리 저하되는가?
• RQ5 손실 함수 설계와 분포 이탈 상황에서 네트워크의 추론 능력 간의 관계는 무엇인가?

주요 결과

• 하이브리드 손실 함수(예: BCE + Dice 또는 BCE + 포칼 손실)로 훈련된 모델은 단일 손실 모델 대비 공격 하에서 정확도 저하 속도가著로 느렸다.
• 일반화된 손실과 전문화된 손실의 조합이 클래스 불균형 상황에서 특히 강건성을 향상시켰다.
• 포칼 손실은 장꼬리 데이터 분포를 처리하는 데 뛰어난 성능을 보이며, 변형이 가해진 상황에서도 높은 정확도를 유지했다.
• 단지 이원 교차 엔트로피만을 사용한 모델는 기울기 기반 공격에 노출되었을 때 정확도 저하 속도가 더 빨랐다.
• 가장 주목할 만한 기울기들이 단일 손실 설정에서 모델 고장 지점을 결정하는 데 매우 영향을 미치는 것으로 밝혀졌다.
• 강건성은 모델 아키텍처에만 의존하는 것이 아니라 손실 함수 설계와 훈련 목표에 의해 크게 영향을 받는다.