[논문 리뷰] Identifying and Characterizing Silently-Evolved Methods in the Android API

Pei Liu, Li Li외 3명|arXiv (Cornell University)|2022. 05. 31.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 Android API에서 문서 업데이트 없이도 동작 방식이 변경된 메서드(침묵적으로 진화한 메서드, SEM)를 식별하고 특성화하기 위한 도구 AndroSea를 제안한다. 연구에서는 10개의 Android API 버전을 대상으로 총 4,769개의 SEM을 특정하였으며, 수작업 분석한 562개의 SEM 중 363개(64.6%)가 의미적 변경을 겪었고, 실제 앱 1,000개 중 957개가 적어도 하나의 SEM을 사용하고 있음을 확인하여, 감지되지 않은 동작 변경으로 인한 심각한 호환성 위험을 드러냈다.

ABSTRACT

With over 500,000 commits and more than 700 contributors, the Android platform is undoubtedly one of the largest industrial-scale software projects. This project provides the Android API, and developers heavily rely on this API to develop their Android apps. Unfortunately, because the Android platform and its API evolve at an extremely rapid pace, app developers need to continually monitor API changes to avoid compatibility issues in their apps (\ie issues that prevent apps from working as expected when running on newer versions of the API). Despite a large number of studies on compatibility issues in the Android API, the research community has not yet investigated issues related to silently-evolved methods (SEMs). These methods are functions whose behavior might have changed but the corresponding documentation did not change accordingly. Because app developers rely on the provided documentation to evolve their apps, changes to methods that are not suitably documented may lead to unexpected failures in the apps using these methods. To shed light on this type of issue, we conducted a large-scale empirical study in which we identified and characterized SEMs across ten versions of the Android API. In the study, we identified SEMs, characterized the nature of the changes, and analyzed the impact of SEMs on a set of 1,000 real-world Android apps. Our experimental results show that SEMs do exist in the Android API, and that 957 of the apps we considered use at least one SEM. Based on these results, we argue that the Android platform developers should take actions to avoid introducing SEMs, especially those involving semantic changes. This situation highlights the need for automated techniques and tools to help Android practitioners in this task.

연구 동기 및 목표

• Android API 메서드의 동작 변경이 문서 업데이트 없이 발생하는지 여부와 그 방식을 조사하기 위해.
• 다양한 Android API 버전을 대상으로 침묵적으로 진화한 메서드(SEMs)를 식별하고 특성화하기 위해.
• 기존 Android 애플리케이션에 대한 SEM의 실제 영향을 평가하기 위해.
• 광범위하게 사용되는 API에서 문서화되지 않은 의미적 변경으로 인한 호환성 실패 위험을 부각하기 위해.
• Android 프레임워크 개발 과정에서 개선된 문서화 관행과 자동화된 탐지 도구의 필요성을 주장하기 위해.

제안 방법

• 연속적인 API 버전 간 메서드의 실제 실행 구현을 비교함으로써, Android 프레임워크 소스 코드를 분석하여 SEM을 탐지하는 프로토타입 도구인 AndroSea를 구축함.
• 동일한 Javadoc 주석을 유지하면서도 메서드의 구현 방식에 차이가 있는 경우를 기반으로 자동으로 SEM을 식별함.
• 변경 유형(예: 구문적 vs. 의미적)을 분류하기 위해 통계적으로 유의미한 표본으로 562개의 SEM을 수작업 분석함.
• 실제 애플리케이션 1,000개로 구성된 코퍼스에서 SEM의 사용 사례를 수집하고 분석하여 실제 영향을 평가함.
• 앱 코드 내의 API 버전 확인 조건을 신호로 활용하여 개발자가 SEM 관련 호환성 문제를 어떻게 보완하고 있는지 유추함.
• 10개의 Android API 릴리스(1.5부터 10.0까지)에 걸쳐 실증 분석을 적용하여 진화 패턴의 광범위한 커버리지 확보

Figure 1: High-level overview of the AndroSea workflow.

실험 결과

연구 질문

• RQ1 다양한 버전에서 Android API에 침묵적으로 진화한 메서드(SEMs)가 얼마나 널리 존재하는가?
• RQ2 SEM에서 가장 흔한 변경 유형은 무엇인가(구문적 변경인지 의미적 변경인지), 그리고 API 호환성에 어떤 영향을 미치는가?
• RQ3 실제 Android 애플리케이션에서 SEM은 얼마나 자주 사용되며, 개발자는 이러한 문제를 감지하거나 보완하고 있는가?
• RQ4 SEM이 도입되는 방식에 패턴이 존재하는가(예: 한 번만 추가되거나 특정 API 카테고리에 집중되는가)?
• RQ5 기존 앱 개발 관행(예: API 버전 확인)을 통해 SEM으로 인한 호환성 위험에 대한 인식이 어느 정도 이루어지고 있는가?

주요 결과

• 10개의 Android API 버전을 대상으로 총 4,769개의 SEM이 식별되었으며, 이 중 2,271개는 공개 가능한 메서드였다.
• 수작업 분석한 562개의 SEM 중 363개(64.6%)가 의미적 변경을 겪었으며, 이는 런타임 실패 위험이 높다는 것을 시사한다.
• 연구에 포함된 실제 Android 앱 1,000개 중 957개가 적어도 하나의 공개 가능한 SEM을 사용하고 있음.
• 대부분의 SEM(특히 PASEMs)는 한 번만 도입되며, 이는 프레임워크 유지를 담당하는 이들이 이러한 변경 사항을 충분히 인지하지 못하고 있음을 시사한다.
• SEM을 사용하는 많은 앱들이 API 버전 확인을 수행하지 않아, 잠재적인 호환성 위험에도 불구하고 보완 조치가 이루어지지 않았음을 나타낸다.
• 일부 앱에서 버전 확인이 존재함을 통해 개발자들이 API 진화 문제에 대해 인식하고 있음을 확인할 수 있으나, SEM 전용 위험에는 여전히 능동적으로 대응하지는 않는 것으로 나타났다.

(a) SEMs