[논문 리뷰] The Case for API Communicability Evaluation: Introducing API-SI with Examples from Keras

Luiz Marques Afonso, João Antonio Marcondes Dutra Bastos외 2명|arXiv (Cornell University)|2018. 08. 17.

Software Engineering Research참고 문헌 24인용 수 4

한 줄 요약

이 논문은 API의 구조, 동작 및 문서화에서의 상징을 통해 디자인 의도를 얼마나 효과적으로 전달하는지 평가하는 시미오틱 평가 방법인 API-SI를 소개한다. 케라스에 적용한 결과, 암묵적이고 명시적인 상징이 개발자 이해에 미치는 영향을 드러내며, 소프트웨어 공학 분야에서 전통적인 사용성 연구를 보완하는 실용적인 도구로 기여한다.

ABSTRACT

In addition to their vital role in professional software development, Application Programming Interfaces (APIs) are now increasingly used by non-professional programmers, including end users, scientists and experts from other domains. Therefore, good APIs must meet old and new user requirements. Most of the re-search on API evaluation and design derives from user-centered, cognitive perspectives on human-computer interaction. As an alternative, we present a lower-threshold variant of a previously proposed semiotic API evaluation tool. We illustrate the procedures and power of this variant, called API Signification Inspection (API-SI), with Keras, a Deep Learning API. The illustration also shows how the method can complement and fertilize API usability studies. Additionally, API-SI is packaged as an introductory semiotic tool that API designers and researchers can use to evaluate the communication of design intent and product rationale to other programmers through implicit and explicit signs thereof, encountered in the API structure, behavior and documentation.

연구 동기 및 목표

• 전문 개발자뿐 아니라 과학자나 도메인 전문가와 같은 비전문가에게도 이해하기 쉬운 API의 필요성이 점점 증가하고 있는 데 대응하기 위해.
• API의 구조, 동작 및 문서화에서의 상징을 통해 디자인 의도의 의사소통 능력을 평가하는 데 초점을 맞춘, 시미오틱 API 평가의 낮은 진입장벽 버전을 제안하기 위해.
• API 설계자와 연구자들이 API가 자신의 이론적 배경과 의도를 얼마나 잘 전달하는지 평가할 수 있도록 실용적이고 접근 가능한 도구를 제공하기 위해.
• 시미오틱 분석이 기존의 사용성 및 인지 기반 API 평가 접근법과 어떻게 보완되고 보완되는지를 보여주기 위해.

제안 방법

• API-SI는 시미오틱 이론을 적용하여 API 내 암묵적 및 명시적 상징을 분석함으로써, 설계 결정이 개발자에게 어떻게 전달되는지 평가한다.
• 이 방법은 세 가지 차원을 평가한다: 구조적 상징(예: 클래스 및 메서드 이름), 행동적 상징(예: 메서드 동작 및 반환 유형), 문서화 상징(예: 주석 및 예제).
• 평가자는 상징의 의미—즉, API의 목적과 설계에 대해 암시하거나 시사하는 바—기반으로 상징을 해석하는 체계적인 점검 절차를 사용한다.
• 이 방법은 페어리안 시미오틱 이론에 기반하여 아이콘(유사성), 인덱스(인과적 연결), 기호(관습 기반 의미)를 구분한다.
• API-SI는 시미오틱에 대한 전문 지식이 없는 이들도 체계적으로 API 평가에 적용할 수 있도록 설계된 초보자용 도구이다.
• 케라스—딥 러닝 API—에 대한 사례 연구를 통해 방법의 실용적 적용과 통찰을 입증함으로써 방법을 검증하였다.

실험 결과

연구 질문

• RQ1 API 상징은 개발자에게 디자인 의도와 제품 설계 배경을 얼마나 효과적으로 전달하는가?
• RQ2 시미오틱 분석을 통해 API의 구조와 동작에서 숨겨진 또는 암묵적인 설계 결정을 어느 정도 드러낼 수 있는가?
• RQ3 API-SI는 기존의 사용성 및 인지 기반 API 평가 방법과 어떻게 비교되거나 보완되는가?
• RQ4 비시미오틱 전문가인 이들이 케라스와 같은 실제 API에 대해 API-SI를 일관되고 의미 있게 적용할 수 있는가?
• RQ5 케라스의 API 구조, 동작 및 문서화에서 의사소통 능력에 기여하거나 방해하는 특정 상징은 무엇인가?

주요 결과

• API-SI는 케라스에서 특정 이름 규칙과 메서드 동작 방식이 개발자에게 디자인 패턴과 의도를 암묵적으로 어떻게 전달하는지 성공적으로 파악했다.
• 이 방법은 'Dense'와 'Conv2D'와 같은 일부 메서드 이름이 시각적으로 功能을 암시하는 아이콘 상징으로 작용하여 발견성 향상에 기여한다는 점을 드러냈다.
• 코드 예제와 docstring의 명확성과 같은 문서화 상징은 케라스 API의 인식 가능한 의사소통 능력에 크게 영향을 주었다.
• 분석 과정에서 행동적 상징(예: 예상치 못한 반환 유형)이 구조적 상징과 모순되어 혼란을 유발하는 불일치가 드러났다.
• API-SI는 기존의 사용성 테스트가 놓칠 수 있는 API 내 미묘한 의사소통 실패를 드러내는 데 실용적인 유용성을 입증했다.
• 사례 연구를 통해 시미오틱 평가가 문법적 정확성이나 기능적 정확성 이상의 차원에서 API 설계 향상에 실질적인 통찰을 제공할 수 있음을 확인했다.